תורת האינפורמציה

עיינו גם בפורטל פורטל המתמטיקה הוא שער לכל הנושאים הקשורים במתמטיקה. בין היתר, ניתן למצוא בו קישורים אל תחומי המשנה של ענף המתמטיקה, אל מושגי יסוד בתחום, אל ערכים העוסקים בהיסטוריה של המתמטיקה ואל ערכים לגבי מתמטיקאים חשובים.

תורת האינפורמציה (גם תורת המידע, מאנגלית: Information theory) היא ענף של מתמטיקה שימושית בעל יישומים רבים במדע ובפרט במדעי המחשב ובהנדסת חשמל. התחום עוסק במדידת מידע וביכולת להעביר מידע בין מקור ליעד כאשר ביניהם קיים ערוץ תקשורת. התחום מבוסס על תורת ההסתברות, ועוסק בעיקר בבעיות תאורטיות, כגון חסמים על קצב המידע שניתן להעביר ללא שגיאות בערוץ נתון. מושגים וכלים שמוגדרים בתורת האינפורמציה איפשרו את פיתוחן של טכנולוגיות תקשורת מודרניות, ובמיוחד תקשורת ספרתית, ויישומים כגון לווייני תקשורת, מערכות אחסון נתונים, תקשורת סלולרית ותקשורת נתונים בקצבים גבוהים.

שיטות וטכניקות שמקורן בתורת האינפורמציה נמצאות כיום בשימוש בתחומי ידע מגוונים, בהם הסקה סטטיסטית, אינטליגנציה מלאכותית, קריפטוגרפיה, ביולוגיה, מדעי המוח ובלשנות. רעיונות ומודלים שמקורם בתחום נכנסו לשימוש גם בתחומי מדעי החברה כגון חינוך, פסיכולוגיה קוגניטיבית ותקשורת המונים.

היסטוריה

אבי תורת האינפורמציה הוא המדען האמריקאי קלוד אלווד שאנון. ב-1948 פרסם שאנון את המאמר המכונן "A Mathematical Theory of Communication", אשר יצר לראשונה את הבסיס המתמטי עבור מערכות תקשורת. במאמר זה הגדיר שנון את הסיבית כיחידת מידע ואת האנטרופיה של מקור מידע, שניתן לתארה ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע, וכן סיפק הגדרה מתמטית כללית של ערוץ תקשורת כקשר סטטיסטי בין הודעות כאשר הן נשלחות מהמקור לאותן הודעות כאשר הן מגיעות אל היעד. שאנון הראה לראשונה כי בעזרת פעולות קידוד מתאימות על ההודעות, ניתן להגיע לתקשורת אמינה (קצב שגיאות קטן כרצוננו), כל עוד קצב העברת המידע (הנמדד בסיביות לשנייה) קטן מהאינפורמציה ההדדית בין המקור והיעד שאותה משרה הערוץ, גודל המוגדר כקיבולת הערוץ (Channel capacity). לעומת זאת, העברת מידע בקצב גבוה מקיבולת הערוץ אינה אפשרית - קצב השגיאות יהיה גבוה עד כדי אובדן קשר סטטיסטי בין ההודעות הנשלחות והמתקבלות. תוצאה זו הייתה מפתיעה ולא שוערה לפני כן, אך היא הוכחה בפועל במערכות תקשורת רבות מספור בעקבות עבודתו של שאנון.

מאמרו של שאנון היה לאחד המאמרים המשפיעים ביותר על המדע במאה ה-20, ונכון ל-2014 הוא מצוטט מעל 60 אלף פעמים במאמרים אקדמאים שונים. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, וחסמים על קצבי שגיאות בשיטות קידוד ופענוח שונות.

תיאור מתמטי של בסיס התאוריה

מידע הוא מושג מופשט, ולכן כדי שתוכל להתבסס תאוריה המתארת את צורות העברתו יש צורך בהגדרתו מחדש בצורה אנליטית יותר.

אינפורמציה עצמית

ככל שמושג מסוים הוא יותר נדיר כך תרומתו לידע הקיים במערכת מסוימת הוא רב יותר. לדוגמה אם מגיע לידי חוקר סופה של שיחה בין שני אנשים המתאר סיום מאוד נפוץ כמו "נתראה בקרוב", אין סיום זה מכיל המון מידע. אך אם סיום השיחה הוא סיום נדיר יותר כמו "לך ואל תחזור" סיום זה יכיל מידע רב יותר.

כפועל יוצא מכך שאנון הגדיר את המידע המוכל בהודעה מסוימת $m$ כ-$I(m)=-\log _{2}p(m)$ כאשר $p(m)=Pr(M=m)$. היא ההסתברות לבחירת הודעה $m$ מכל ההודעות האפשריות המגדירות את מרחב ההודעות $M$. הגדרה זו משתמשת בתכונת הלוגריתם אשר מגדילה את ערכם של ערכים קטנים מאוד, ואילו משאיפה לאפס ערכים המתקרבים לאחד ובכך מעניקה משמעות גבוהה להודעות בעלות הסתברות נמוכה להתקבל. למידע המוכל בהודעה $m$ נהוג לקרוא בתורת האינפורמציה אינפורמציה עצמית (באנגלית: Self-information) של הודעה $m$.

אנטרופיה

ערך מורחב – אנטרופיה (סטטיסטיקה)

כאשר באים לבחון מאפיינים של מרחבי הודעות, דהיינו הקבוצה המגדירה את כל ההודעות היכולות להיבחר, יש צורך להגדיר מדדים המתארים תכונות כוללות של המרחב. אחת מהתכונות הללו היא רמת אי הסדר של בחירת ההודעות. כלומר המידה בה מרחב הודעות הוא בלתי צפוי בהקשר של בחירת הודעה ספציפית ממנו. ככל שקשה יותר לנבא איזה הודעה תבחר מן המרחב, נאמר כי האנטרופיה של המרחב גדולה יותר. למידה זו נהוג לקרוא האנטרופיה של מרחב הודעות בדיד $M$. מבחינה כמותית האנטרופיה של מרחב הודעות $M$ מוגדרת כממוצע האינפורמציה העצמית של כל ההודעות $m$ השייכות למרחב. בכתיב מתמטי נאמר: $$H(M)\;{\overset {\underset {\mathrm {def} }{}}{=}}\;\mathbb {E} (I(m))=\sum _{m\in M}p(m)I(m)=-\sum _{m\in M}p(m)\log _{2}p(m).$$כאשר $\mathbb {E}$ המייצג את תוחלת המרחב. לדוגמה כאשר מרחב ההודעות מכיל שתי הודעות. הודעה אחת בהסתברות $p$ והודעה שנייה בהסתברות $1-p$. נחשב את האנטרופיה לפי ההגדרה:

$$H(M)=-{\bigl [}p\log _{2}p+(1-p)\log _{2}(1-p){\bigr ]}$$במקרה בו $p={\frac {1}{3}}$ נקבל:$$H(M)=-{\biggl [}{\frac {1}{3}}\log _{2}{\frac {1}{3}}+{\frac {2}{3}}\log _{2}{\frac {2}{3}}{\biggr ]}=0.91829...(bit)$$

ניתן להראות בטכניקות מתחום חשבון וריאציות כי כאשר ההסתברות לקבלת הודעה שווה בין כל ההודעות האנטרופיה היא מקסימלית ושווה ל-${\mathsf {MAX}}(H)=\log _{2}|M|$ כאשר $|M|$ מייצג את מספר האיברים הקיים במרחב $M$, תכונה הנקראת עוצמתו של $M$. ניתן לקבל אינטואיציה לתופעה זו באמצעות ההגדרה האיכותית של האנטרופיה. כאשר כל ההודעות מתקבלות בהסתברות שווה, אזי אין כל דרך להעדיף בחירת הודעה אחת על אחרת, ולכן יכולת הניבוי היא מינימלית, כלומר המרחב הוא הכי בלתי צפוי שיכל להיות. בזכות העובדה שאנטרופיה מקסימלית מתקבלת כאשר ההתפלגות אחידה, ניתן לראות באנטרופיה מדד לעד כמה ההתפלגות הנמדדת שונה מהתפלגות זו.

אנטרופיה משותפת

האנטרופיה המשותפת של שני משתנים מקריים$X,Y$ מוגדרת כאנטרופיה של ההתפלגות המשותפת של $X,Y$:

$$H(X,Y)\;{\overset {\underset {\mathrm {def} }{}}{=}}\;\mathbb {E} _{p(x,y)}[-\log _{2}p(X,Y)]=-\sum _{\{x\}}\sum _{\{y\}}p(x,y)\log p(x,y)$$כאשר המשתנים הם בלתי תלויים האנטרופיה המשותפת היא פשוט סכום האנטרופיות של שניהם.

אנטרופיה מותנית

ערך מורחב – אנטרופיה מותנית

אנטרופיה מותנית היא האנטרופיה שנגררת בעקבות ידיעה של אחד משני משתנים בעלי התפלגות משותפת. כאשר ידוע ערך ספציפי של $Y$ שהוא קבוע ועליו מחשבים את האנטרופיה של $X$ אז ערכה מוגדר על ידי:

$H(Y|X)\;{\overset {\underset {\mathrm {def} }{}}{=}}\;\sum _{\{x\}}p(x)H(Y|X=x)=$

$=-\sum _{\{x\}}p(x)\sum _{\{y\}}p(y|x)\log p(y|x)$

$=-\sum _{\{x\}}\sum _{\{y\}}p(x,y)\log p(y|x)$

$=-{\boldsymbol {E}}_{p(x,y)}[\log p(Y|X)]$

ומכאן ניתן באמצעות כמה הצבות אלגבריות פשוטות לגזור את כלל השרשרת לאנטרופיה:

$H(X,Y)=H(X|Y)+H(Y)$

ובהכללה ל-$i$ משתנים בלתי תלויים:

$H(X_{1},X_{2},...,X_{n})=\sum _{i=1}^{n}H(X_{i}|X_{i-1},...,X_{1})$

ומכאן שכאשר המשתנים הם בלתי תלויים:

$H(X_{1},X_{2},...,X_{n})=\sum _{i=1}^{n}H(X_{i})$

אינפורמציה הדדית

ערך מורחב – אינפורמציה הדדית

אחד הכלים האנליטיים החשובים ביותר בתורת המידע היא בדיקה כמות של עד כמה אפשר להסיק מידע מסוים ממשתנה מקרי אחד על משתנה מקרי אחר. האינפורמציה ההדדית מבטאת את הקטנת אי הודאות של משתנה מקרי $X$ בזכות ידיעתו של $Y$. מבחינה כמותית האינפורמציה ההדדית מתוארת על ידי המשוואה הבאה:

$I(X;Y)=\sum _{\{x\}}\sum _{\{y\}}p(y)p(x|y)\log _{2}{\frac {p(x|y)}{p(x)}}=\sum _{\{x\}}\sum _{\{y\}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)p(y)}}$

זהות חשובה בתחום היא ש:

$I(X;Y)=H(X)-H(X|Y)$

תכונה נוספת היא קיום סימטריה בשיתוף המידע בין המשתנים ולכן מתקיים גם:

$I(X;Y)=H(Y)-H(Y|X)$

יישום הכלים בניתוח התנהגות תא עצב

תאי עצב יורים פוטנציאל פעולה בעקבות גירויים שונים, דפוס הירי משתנה בהתאם לגירוי המוצג לפני נבדק. זאת לאחר שבתהליך פסיכופיסי הותמר המידע מן הסביבה לאותות חשמליים אשר בתורם מגיעים לתא העצב ומשפעלים אותו. על מנת לנתח את התנהגות תא העצב נגדיר משתנה מקרי $X$ כמספר פוטנציאלי הפעולה, את $Y$ כסוג הגירוי. לדוגמה אם נמדדה בניסוי התפלגות המשותפת (joint distribution) עם ההתפלגויות השוליות של $X,Y$ הבאה:

סך הכל	הסתברות ההופעה עבור גירוי 2	הסתברות ההופעה עבור גירוי 1	מספר פוטנציאלי הפעולה
0.3	0.3	0	0
0.5	0.15	0.35	1
0.15	0.05	0.10	2
0.04	0	0.04	3
0.01	0	0.01	4
1	0.5	0.5	סך הכל

האנטרופיה של המשתנה $X$ נתונה על ידי הביטוי:

$H(X)=-0.3\log _{2}(0.3)-0.5\log 0.5-0.15\log _{2}(0.15)-0.04\log _{2}(0.04)-0.01\log _{2}(0.01)=1.6838(bits)$

על מנת לחשב כמה ידיעת סוג הגירוי המוצג מפחית את אי הוודאות של התפלגות פוטנציאלי הפעולה נשתמש בנוסחה לאנטרופיה מתנית:

$H(X|Y)=\sum _{i=2}^{2}p(y_{i})H(X|Y=y_{i})=$

$-0.5{\biggr [}0.6\log _{2}(0.6)+0.3\log _{2}(0.3)+0.1\log _{2}(0.1)+0+0{\biggr ]}$

$-0.5{\biggr [}0.7\log(0.7)+0.2\log(0.2)+0.08\log(0.08)+0.02\log(0.02){\biggr ]}$

$H(X|Y)=1.2622(bits)$

נשתמש בפירוק האינפורמציה ההדדית לאנטרופיות המשתנים ונקבל:

$I(X;Y)=H(X)-H(X|Y)=0.4216(bits)$

מדידה כמותית זו של כמות המידע שניתנת על ידי ידיעת הגירוי המוצג יכול לתת אמצעי השוואה בין גירויים שונים וכמות המידע שאפשר להסיק מהם.

יישומים

היישום המעשי של תורתו של שאנון היה לתחום עיקרי בהנדסת מערכות תקשורת שבמסגרתה פותחו שיטות לאפנון, קידוד, דחיסת נתונים, קליטה ותיקון שגיאות שאיפשרו תקשורת אמינה על פני ערוצים מעשיים, החל מקווי טלפון וטלגרף, דרך אפיקי רדיו ועד סיבים אופטיים ומדיה מגנטית ואופטית.

התפתחות טכנולוגיות התקשורת אפשרה העברת מידע מסוגים שונים ומגוונים, כגון מלל, דיבור, מוזיקה, וידאו, וצירופים שלהם (כפי שניתן לעשות כיום במערכות דואר אלקטרוני, מסרים מיידיים ושירותי Web). תורת האינפורמציה והטכנולוגיות שנבנו על בסיסה אינן עוסקות במשמעות של המידע. משמעות מוקנית להודעות העוברות בין אנשים או מכונות על ידי תהליכי חשיבה, העושים שימוש ביכולת הבנה והתנסחות ובמאגרי ידע ושליפת פרטים מתוכם. נושאים אלה הם בתחומי הדיסציפלינות של פסיכולוגיה קוגניטיבית ואינטליגנציה מלאכותית, בהם למושג "אינפורמציה" יש משמעויות אחרות.

ראו גם

• מידע
• תורת הקודים

לקריאה נוספת

• Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). An introductory review of information theory in the context of computational neuroscience. Biological Cybernetics, 105(1), 55-70.
• David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press 2003.

קישורים חיצוניים

• חומר עזר לקורס בתורת האינפורמציה (לימודי מוסמכים), מאתר הטכניון
• אינפורמציה, באתר אנציקלופדיה למתמטיקה (באנגלית)
• תורת האינפורמציה, באתר MathWorld (באנגלית)
• תורת האינפורמציה, באתר אנציקלופדיה בריטניקה (באנגלית)
• תורת האינפורמציה, דף שער בספרייה הלאומית