תורת האינפורמציה – הבדלי גרסאות
מ הפוטניצאל->הפוטנציאל - תיקון תקלדה בקליק |
|||
| שורה 16: | שורה 16: | ||
אל הפלט של המחשב ניתן להתייחס כ[[מסמן]] המשמש כ"נשא" של מידע פוטנציאלי, אשר התוכן ה[[סמנטיקה|סמנטי]] שלו יכול להתחיל ולהתעורר רק עם הופעתו של מפרש כלשהו{{הערה|שם=פרשנות|Melnikova, E. V., & Melnikov, O. A. (2011). Scientific comprehension of the nature of information. Scientific and Technical Information Processing, 38(2), 99-104.}}. |
אל הפלט של המחשב ניתן להתייחס כ[[מסמן]] המשמש כ"נשא" של מידע פוטנציאלי, אשר התוכן ה[[סמנטיקה|סמנטי]] שלו יכול להתחיל ולהתעורר רק עם הופעתו של מפרש כלשהו{{הערה|שם=פרשנות|Melnikova, E. V., & Melnikov, O. A. (2011). Scientific comprehension of the nature of information. Scientific and Technical Information Processing, 38(2), 99-104.}}. |
||
לצורך כך על המפרש לאתר את קיומו של המסמן הנתון ולזהות את |
לצורך כך על המפרש לאתר את קיומו של המסמן הנתון ולזהות את הפוטנציאל שלו. רק אז תהליכי הפרשנות והתקשורת יכולים לגבש את המידע הגלום במסמן ולהקנות לו צורה ממשית{{הערה|שם=פרשנות}}. |
||
באופן זה [[מכונה|מכונות]] שאופן פעולתן אינו קשור למשמעות יכולות ליצור [[פלט]]ים בעלי משמעות עבור ה[[משתמש קצה|משתמשים]]{{הערה|שם=פרדוקס}}. |
באופן זה [[מכונה|מכונות]] שאופן פעולתן אינו קשור למשמעות יכולות ליצור [[פלט]]ים בעלי משמעות עבור ה[[משתמש קצה|משתמשים]]{{הערה|שם=פרדוקס}}. |
||
המידע הפורש המופק מפלט המחשב על ידי המשתמשים הוא בעל אופי סובייקטיבי. זאת משום שאנשים שונים יכולים לפרש מסומנים שונים בדרכים שונות, בהתאם ל[[אינטליגנציה]], ל[[ידע]] ולניסיון העומד לרשותם{{הערה|שם=פרשנות}}. |
המידע הפורש המופק מפלט המחשב על ידי המשתמשים הוא בעל אופי סובייקטיבי. זאת משום שאנשים שונים יכולים לפרש מסומנים שונים בדרכים שונות, בהתאם ל[[אינטליגנציה]], ל[[ידע]] ולניסיון העומד לרשותם{{הערה|שם=פרשנות}}. |
||
גרסה מ־11:22, 8 באפריל 2019
תורת האינפורמציה היא ענף של מתמטיקה שימושית בעל יישומים במדעי המחשב והנדסת חשמל, העוסק במדידת מידע וביכולת להעביר מידע בין מקור ליעד כאשר ביניהם קיים ערוץ תקשורת. התחום מבוסס על תורת ההסתברות, ועוסק בעיקר בבעיות תאורטיות, כגון חסמים על קצב המידע שניתן להעביר ללא שגיאות בערוץ נתון. מושגים וכלים שמוגדרים בתורת האינפורמציה איפשרו את פיתוחן של טכנולוגיות תקשורת מודרניות, ובמיוחד תקשורת ספרתית, ויישומים כגון לווייני תקשורת, מערכות אחסון נתונים, תקשורת סלולרית ותקשורת נתונים בקצבים גבוהים.
שיטות וטכניקות שמקורן בתורת האינפורמציה נמצאים כיום בשימוש בתחומי ידע מגוונים, בהם הסקה סטטיסטית, אינטליגנציה מלאכותית, קריפטוגרפיה, ביולוגיה, מדעי המוח ובלשנות. רעיונות ומודלים שמקורם בתחום נכנסו לשימוש גם בתחומי מדעי החברה כגון חינוך, פסיכולוגיה קוגניטיבית ותקשורת המונים.
היסטוריה
אבי תורת האינפורמציה הוא המדען האמריקאי קלוד אלווד שאנון. ב-1948 פרסם שאנון את המאמר המכונן "A Mathematical Theory of Communication"[1], אשר יצר לראשונה את הבסיס המתמטי עבור מערכות תקשורת. במאמר זה הגדיר שנון את הסיבית כיחידת מידע ואת האנטרופיה של מקור מידע, שניתן לתארה ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע, וכן סיפק הגדרה מתמטית כללית של ערוץ תקשורת כקשר סטטיסטי בין הודעות כאשר הן נשלחות מהמקור לאותן הודעות כאשר הן מגיעות אל היעד. שאנון הראה לראשונה כי בעזרת פעולות קידוד מתאימות על ההודעות, ניתן להגיע לתקשורת אמינה (קצב שגיאות קטן כרצוננו), כל עוד קצב העברת המידע (הנמדד בסיביות לשנייה) קטן מהאינפורמציה ההדדית בין המקור והיעד שאותה משרה הערוץ, גודל המוגדר כקיבולת הערוץ (Channel capacity). לעומת זאת, העברת מידע בקצב גבוה מקיבולת הערוץ אינה אפשרית - קצב השגיאות יהיה גבוה עד כדי אובדן קשר סטטיסטי בין ההודעות הנשלחות והמתקבלות. תוצאה זו הייתה מפתיעה ולא שוערה לפני כן, אך היא הוכחה בפועל במערכות תקשורת רבות מספור בעקבות עבודתו של שאנון.
מאמרו של שאנון היה לאחד המאמרים המשפיעים ביותר על המדע במאה ה-20, ונכון ל-2014 הוא מצוטט מעל 60 אלף פעמים במאמרים אקדמאים שונים[2]. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, וחסמים על קצבי שגיאות בשיטות קידוד ופענוח שונות.
יישומים
היישום המעשי של תורתו של שאנון היה לתחום עיקרי בהנדסת מערכות תקשורת שבמסגרתה פותחו שיטות לאפנון, קידוד, דחיסת נתונים, קליטה ותיקון שגיאות שאיפשרו תקשורת אמינה על פני ערוצים מעשיים, החל מקווי טלפון וטלגרף, דרך אפיקי רדיו ועד סיבים אופטיים ומדיה מגנטית ואופטית.
התפתחות טכנולוגיות התקשורת אפשרה העברת מידע מסוגים שונים ומגוונים, כגון מלל, דיבור, מוזיקה, וידאו, וצירופים שלהם (כפי שניתן לעשות כיום במערכות דואר אלקטרוני, מסרים מידיים ושרותי Web). תורת האינפורמציה והטכנולוגיות שנבנו על בסיסה אינן עוסקות במשמעות של המידע[3]. משמעות מוקנית להודעות העוברות בין אנשים או מכונות על ידי תהליכי חשיבה, העושים שימוש ביכולת הבנה והתנסחות ובמאגרי ידע ושליפת פרטים מתוכם. נושאים אלה הם בתחומי הדיסציפלינות של פסיכולוגיה קוגניטיבית ואינטליגנציה מלאכותית, בהם למושג "אינפורמציה" יש משמעויות אחרות.
ראו גם
| מכניקה סטטיסטית | ||
|---|---|---|
| תאוריה | עקרון גידול האנטרופיה • ergodic theory | 
|
| תרמודינמיקה סטטיסטית | צברים • פונקציית חלוקה • משוואות מצב • פוטנציאלים תרמודינמיים: (U • H • F • G) • קשרי מקסוול | |
| מודל סטטיסטי | Ferromagnetism models (איזינג • פוטס • הייזנברג • חלחול EN) • חלקיקים בעלי שדה כוחות (כוחות דלדול EN • פוטנציאל לנארד-ג'ונס) | |
| גישות מתמטיות | משוואת בולצמן • משפט־H • משוואת ולסוב • מדרג BBGKY • תהליך סטוכסטי • תורת שדה ממוצע ותורת השדות הקונפורמית | |
| תופעות קריטיות | מעבר פאזה • אקספוננט קריטי (מרחק קורלציה • size scaling) | |
| אנטרופיה | בולצמן • שאנון • צאליס • רניי • פון נוימן | |
| יישומים | תורת השדות הסטטיסטית (חלקיקים יסודיים • נוזלי־על) • פיזיקה של חומר מעובה • מערכות מורכבות (כאוס • תורת האינפורמציה • אנטרופיה בתרמודינמיקה ובתורת האינפורמציה • מכונת בולצמן) | |
לקריאה נוספת
- Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). An introductory review of information theory in the context of computational neuroscience. Biological Cybernetics, 105(1), 55-70.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press 2003.
קישורים חיצוניים
- חומר עזר לקורס בתורת האינפורמציה (לימודי מוסמכים), מאתר הטכניון
- אינפורמציה, באתר אנציקלופדיה למתמטיקה (באנגלית)
- תורת האינפורמציה, באתר MathWorld (באנגלית)
הערות שוליים
- ^ C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423, 623-656, July, October, 1948
- ^ על פי Google Scholar
- ^ Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.