תורת האינפורמציה – הבדלי גרסאות
Curious 1987 (שיחה | תרומות) מ ←יישומים: תקלדה |
Curious 1987 (שיחה | תרומות) מ ←היסטוריה: תקלדה |
||
| שורה 11: | שורה 11: | ||
האדם שנחשב אבי תורת האינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם מאמר הסוקר את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את יחידת ה[[ביט]] ואת מושג ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] המתקשר לכמות הביטים המינימלית הנדרשת כדי לשמור או לשדר פיסת מידע מסוימת.{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}} עבודה זו בעלת השפעה רבה ביותר על המדע במאה ה-20, ומצוטטת מעל 45 אלף פעמים במאמרים אקדמאים שונים{{הערה|נכון ל-2011, לפי [[Google Scholar]]}}. |
האדם שנחשב אבי תורת האינפורמציה הוא [[קלוד שאנון|קלוד אלווד שאנון]]. ב-1948 פרסם מאמר הסוקר את הבסיס המתמטי עבור [[מערכת תקשורת|מערכות תקשורת]]. במאמר זה הגדיר שנון את יחידת ה[[ביט]] ואת מושג ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]] המתקשר לכמות הביטים המינימלית הנדרשת כדי לשמור או לשדר פיסת מידע מסוימת.{{הערה|C.E. Shannon, "[http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication]", '''Bell System Technical Journal''', vol. 27, pp. 379–423, 623-656, July, October, 1948}} עבודה זו בעלת השפעה רבה ביותר על המדע במאה ה-20, ומצוטטת מעל 45 אלף פעמים במאמרים אקדמאים שונים{{הערה|נכון ל-2011, לפי [[Google Scholar]]}}. |
||
רוב ה[[מחקר]] שעסק בתורת |
רוב ה[[מחקר]] שעסק בתורת האינפורמציה נערך מנקודת מבט [[הנדסה|הנדסית]]{{הערה|שם=מקדונל}}. |
||
המחקר התמקד בשיטות ל[[דחיסת נתונים]] אשר יכולות להגיע עד לגבולות ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]], או ב[[קוד תיקון שגיאות]], [[קידוד תווים]] ופענוח יעילים יותר{{הערה|שם=מקדונל}}. |
המחקר התמקד בשיטות ל[[דחיסת נתונים]] אשר יכולות להגיע עד לגבולות ה[[אנטרופיה (סטטיסטיקה)|אנטרופיה]], או ב[[קוד תיקון שגיאות]], [[קידוד תווים]] ופענוח יעילים יותר{{הערה|שם=מקדונל}}. |
||
גרסה מ־15:21, 21 בפברואר 2013
תורת האינפורמציה היא ענף של מתמטיקה שימושית, העוסקת בעיבוד וכימות מידע, שעושה שימוש בשיטות מתורת ההסתברות ומסטטיסטיקה מתמטית.
יישומים
תורת האינפורמציה מספקת דרך למדידה של מידע. היא מאפשרת להבין את גבולות הדחיסה דרך מושג האנטרופיה ואת גבולות התקשורת על ידי האינפורמציה ההדדית וקיבולת ערוץ התקשורת[1].
לתורת האינפורמציה השלכות רבות במדעי המחשב והנדסת חשמל: התורה עוסקת במערכות תקשורת, שידור נתונים, דחיסת נתונים, הצפנה, תורת הדגימה, תיקון שגיאות בקידוד נתונים ועוד.
היסטוריה
תורת האינפורמציה פותחה בתגובה לקשיים שבהם נתקלו מהנדסי מערכות תקשורת, אשר השתמשו במכשירים כמו טלפון ומודם[1].
האדם שנחשב אבי תורת האינפורמציה הוא קלוד אלווד שאנון. ב-1948 פרסם מאמר הסוקר את הבסיס המתמטי עבור מערכות תקשורת. במאמר זה הגדיר שנון את יחידת הביט ואת מושג האנטרופיה המתקשר לכמות הביטים המינימלית הנדרשת כדי לשמור או לשדר פיסת מידע מסוימת.[2] עבודה זו בעלת השפעה רבה ביותר על המדע במאה ה-20, ומצוטטת מעל 45 אלף פעמים במאמרים אקדמאים שונים[3].
רוב המחקר שעסק בתורת האינפורמציה נערך מנקודת מבט הנדסית[1]. המחקר התמקד בשיטות לדחיסת נתונים אשר יכולות להגיע עד לגבולות האנטרופיה, או בקוד תיקון שגיאות, קידוד תווים ופענוח יעילים יותר[1].
התייחסות למושג המידע
על פי תורת האינפורמציה הקלאסית של שאנון ניתן לשדר ולקלוט מידע באופן מדויק באמצעות תהליכים שאינם תלויים במשמעות של המידע[4]. דוגמאות לכך הן דואר אלקטרוני ומסרים מידיים.
המחשבים הרחיבו את תורת האינפורמציה בכך שהם יכולים להעביר ואף לעבד מידע ללא התייחסות למשמעות שלו[4]. לדוגמה: SPSS היא אחת התוכנות הנפוצות בעולם לניתוח סטטסיטי של נתונים.
המחשבים פועלים עלי פי המידע שנמסר להם, אשר מורכב מקוד מקור ונתונים. מבחינה זאת המחשב הוא מכונה המשתמשת במידע מסוים (מרמת התוכנה) כדי לבקר על האופן שבו הוא מעבד מידע אחר (בסיס נתונים) ללא תלות במשמעות שלו[4]. אל הפלט של המחשב ניתן להתייחס כמסמן המשמש כ"נשא" של מידע פוטנציאלי, אשר התוכן הסמנטי שלו יכול להתחיל ולהתעורר רק עם הופעתו של מפרש כלשהו[5]. לצורך כך על המפרש לאתר את קיומו של המסמן הנתון ולזהות את הפוטניצאל שלו. רק אז תהליכי הפרשנות והתקשורת יכולים לגבש את המידע הגלום במסמן ולהקנות לו צורה ממשית[5]. באופן זה מכונות שאופן פעולתן אינו קשור למשמעות יכולות ליצור פלטים בעלי משמעות עבור המשתמשים[4]. המידע הפורש המופק מפלט המחשב על ידי המשתמשים הוא בעל אופי סובייקטיבי. זאת משום שאנשים שונים יכולים לפרש מסומנים שונים בדרכים שונות, בהתאם לאינטליגנציה, לידע ולניסון העומד לרשותם[5].
ראו גם
הערות שוליים
- ^ 1 2 3 4 Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). An introductory review of information theory in the context of computational neuroscience. Biological Cybernetics, 105(1), 55-70.
- ^ C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423, 623-656, July, October, 1948
- ^ נכון ל-2011, לפי Google Scholar
- ^ 1 2 3 4 Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.
- ^ 1 2 3 Melnikova, E. V., & Melnikov, O. A. (2011). Scientific comprehension of the nature of information. Scientific and Technical Information Processing, 38(2), 99-104.
