תורת האינפורמציה

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

תורת האינפורמציה היא ענף של מתמטיקה שימושית, העוסקת בעיבוד וכימות מידע, שעושה שימוש בשיטות מתורת ההסתברות ומסטטיסטיקה מתמטית.

יישומים[עריכת קוד מקור | עריכה]

תורת האינפורמציה מספקת דרך למדידה של מידע. היא מאפשרת להבין את גבולות הדחיסה דרך מושג האנטרופיה ואת גבולות התקשורת על ידי האינפורמציה ההדדית וקיבולת ערוץ התקשורת[1].

לתורת האינפורמציה השלכות רבות במדעי המחשב והנדסת חשמל: התורה עוסקת במערכות תקשורת, שידור נתונים, דחיסת נתונים, הצפנה, תורת הדגימה, תיקון שגיאות בקידוד נתונים ועוד.

היסטוריה[עריכת קוד מקור | עריכה]

תורת האינפורמציה פותחה בתגובה לקשיים שבהם נתקלו מהנדסי מערכות תקשורת, אשר השתמשו במכשירים כמו טלפון ומודם[1].

האדם שנחשב אבי תורת האינפורמציה הוא קלוד אלווד שאנון. ב-1948 פרסם מאמר הסוקר את הבסיס המתמטי עבור מערכות תקשורת. במאמר זה הגדיר שנון את יחידת הביט ואת מושג האנטרופיה המתקשר לכמות הביטים המינימלית הנדרשת כדי לשמור או לשדר פיסת מידע מסוימת‏[2]. עבודה זו בעלת השפעה רבה ביותר על המדע במאה ה-20, ומצוטטת מעל 45 אלף פעמים במאמרים אקדמאים שונים‏[3].

רוב המחקר שעסק בתורת האינפורמציה נערך מנקודת מבט הנדסית[1]. המחקר התמקד בשיטות לדחיסת נתונים אשר יכולות להגיע עד לגבולות האנטרופיה, או בקוד תיקון שגיאות, קידוד תווים ופענוח יעילים יותר‏[1].

התייחסות למושג המידע[עריכת קוד מקור | עריכה]

על פי תורת האינפורמציה הקלאסית של שאנון ניתן לשדר ולקלוט מידע באופן מדויק באמצעות תהליכים שאינם תלויים במשמעות של המידע‏[4]. דוגמאות לכך הן דואר אלקטרוני ומסרים מידיים.

המחשבים הרחיבו את תורת האינפורמציה בכך שהם יכולים להעביר ואף לעבד מידע ללא התייחסות למשמעות שלו‏[4].

המחשבים פועלים על פי המידע שנמסר להם, אשר מורכב מקוד מקור‎ ונתונים. מבחינה זאת המחשב הוא מכונה המשתמשת במידע מסוים (מרמת התוכנה) כדי לבקר על האופן שבו הוא מעבד מידע אחר (בסיס נתונים) ללא תלות במשמעות שלו‏[4]. אל הפלט של המחשב ניתן להתייחס כמסמן המשמש כ"נשא" של מידע פוטנציאלי, אשר התוכן הסמנטי שלו יכול להתחיל ולהתעורר רק עם הופעתו של מפרש כלשהו‏[5]. לצורך כך על המפרש לאתר את קיומו של המסמן הנתון ולזהות את הפוטניצאל שלו. רק אז תהליכי הפרשנות והתקשורת יכולים לגבש את המידע הגלום במסמן ולהקנות לו צורה ממשית‏[5]. באופן זה מכונות שאופן פעולתן אינו קשור למשמעות יכולות ליצור פלטים בעלי משמעות עבור המשתמשים[4]. המידע הפורש המופק מפלט המחשב על ידי המשתמשים הוא בעל אופי סובייקטיבי. זאת משום שאנשים שונים יכולים לפרש מסומנים שונים בדרכים שונות, בהתאם לאינטליגנציה, לידע ולניסון העומד לרשותם‏[5].

ראו גם[עריכת קוד מקור | עריכה]

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ 1.0 1.1 1.2 1.3 Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). An introductory review of information theory in the context of computational neuroscience. Biological Cybernetics, 105(1), 55-70.
  2. ^ C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423, 623-656, July, October, 1948
  3. ^ נכון ל-2011, לפי Google Scholar
  4. ^ 4.0 4.1 4.2 4.3 Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.
  5. ^ 5.0 5.1 5.2 Melnikova, E. V., & Melnikov, O. A. (2011). Scientific comprehension of the nature of information. Scientific and Technical Information Processing, 38(2), 99-104.


P Computer-science.png ערך זה הוא קצרמר בנושא מדעי המחשב. אתם מוזמנים לתרום לוויקיפדיה ולהרחיב אותו.