תורת האינפורמציה – הבדלי גרסאות
Laugh Tough (שיחה | תרומות) מ הגהה, הוספת מקור |
Laugh Tough (שיחה | תרומות) |
||
| שורה 11: | שורה 11: | ||
היישום המעשי של תורתו של שאנון היה לתחום עיקרי ב[[הנדסת מערכות תקשורת]] שבמסגרתה פותחו שיטות ל[[אפנון]], [[קידוד תווים|קידוד]], [[דחיסת נתונים]], [[מקלט|קליטה]] ו[[קוד תיקון שגיאות|תיקון שגיאות]] שאיפשרו תקשורת אמינה על פני ערוצים מעשיים, החל מקווי [[טלפון]] ו[[טלגרף]], דרך אפיקי [[רדיו]] ועד [[סיב אופטי|סיבים אופטיים]] ו[[דיסק קשיח|מדיה מגנטית]] ו[[תקליטור|אופטית]]. |
היישום המעשי של תורתו של שאנון היה לתחום עיקרי ב[[הנדסת מערכות תקשורת]] שבמסגרתה פותחו שיטות ל[[אפנון]], [[קידוד תווים|קידוד]], [[דחיסת נתונים]], [[מקלט|קליטה]] ו[[קוד תיקון שגיאות|תיקון שגיאות]] שאיפשרו תקשורת אמינה על פני ערוצים מעשיים, החל מקווי [[טלפון]] ו[[טלגרף]], דרך אפיקי [[רדיו]] ועד [[סיב אופטי|סיבים אופטיים]] ו[[דיסק קשיח|מדיה מגנטית]] ו[[תקליטור|אופטית]]. |
||
התפתחות טכנולוגיות התקשורת אפשרה העברת מידע מסוגים שונים ומגוונים, כגון מלל, דיבור, מוסיקה, וידאו, וצירופים שלהם (כפי שניתן לעשות כיום במערכות [[דואר אלקטרוני]], [[מסרים מידיים]] ושרותי [[Web]]). תורת האינפורמציה והטכנולוגיות שנבנו על בסיסה אינן עוסקות ב[[משמעות]] של המידע{{הערה|שם=פרדוקס|Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.}}. |
התפתחות טכנולוגיות התקשורת אפשרה העברת מידע מסוגים שונים ומגוונים, כגון מלל, דיבור, מוסיקה, וידאו, וצירופים שלהם (כפי שניתן לעשות כיום במערכות [[דואר אלקטרוני]], [[מסרים מידיים]] ושרותי [[Web]]). תורת האינפורמציה והטכנולוגיות שנבנו על בסיסה אינן עוסקות ב[[משמעות]] של המידע{{הערה|שם=פרדוקס|Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.}}. משמעות מוקנית להודעות העוברות בין אנשים או מכונות על ידי תהליכי [[חשיבה]], העושים שימוש ביכולת הבנה והתנסחות ובמאגרי ידע ושליפת פרטים מתוכם. נושאים אלה הם בתחומי הדיסציפלינות של פסיכולוגיה קוגניטיבית ו[[אינטליגנציה מלאכותית]], בהם למושג "אינפורמציה" יש משמעויות אחרות. |
||
<!-- התוכן להלן אינו מתאים לערך זה, הוא הושאר כאן כדי לאפשר העברתו לערך אחר במידת הצורך |
<!-- התוכן להלן אינו מתאים לערך זה, הוא הושאר כאן כדי לאפשר העברתו לערך אחר במידת הצורך |
||
גרסה מ־10:03, 26 במאי 2014
תורת האינפורמציה היא ענף של מתמטיקה שימושית בעל יישומים במדעי המחשב והנדסת חשמל, העוסק במדידת מידע וביכולת להעביר מידע בין מקור ליעד כאשר ביניהם קיים ערוץ תקשורת. התחום מבוסס על תורת ההסתברות, ועוסק בעיקר בבעיות תאורטיות, כגון חסמים על קצב המידע שניתן להעביר ללא שגיאות בערוץ נתון. מושגים וכלים שמוגדרים בתורת האינפורמציה איפשרו את פיתוחן של טכנולוגיות תקשורת מודרניות, ובמיוחד תקשורת ספרתית, ויישומים כגון לווייני תקשורת, מערכות אחסון נתונים, תקשורת סלולרית ותקשורת נתונים בקצבים גבוהים.
שיטות וטכניקות שמקורן בתורת האינפורמציה נמצאים כיום בשימוש בתחומי ידע מגוונים, בהם הסקה סטטיסטית, אינטליגנציה מלאכותית, קריפטוגרפיה, ביולוגיה, מדעי המוח ובלשנות. רעיונות ומודלים שמקורם בתחום נכנסו לשימוש גם בתחומי מדעי החברה כגון חינוך, פסיכולוגיה קוגניטיבית ותקשורת המונים.
היסטוריה
אבי תורת האינפורמציה הוא קלוד אלווד שאנון. ב-1948 פרסם שאנון את המאמר המכונן "A Mathematical Theory of Communication"[1], אשר יצר לראשונה את הבסיס המתמטי עבור מערכות תקשורת. במאמר זה הגדיר שנון את הסיבית כיחידת מידע ואת האנטרופיה של מקור מידע, שניתן לתארה ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע, וכן סיפק הגדרה מתמטית כללית של ערוץ תקשורת כקשר סטטיסטי בין הודעות נשלחת והודעות מתקבלות. שאנון הראה לראשונה כי בעזרת פעולות קידוד מתאימות על ההודעות, ניתן להגיע לתקשורת אמינה (קצב שגיאות קטן כרצוננו), כל עוד קצב העברת המידע (הנמדד בסיביות לשנייה) קטן מהאינפורמציה ההדדית בין המקור והיעד שאותה משרה הערוץ, גודל המוגדר כקיבולת הערוץ (Channel capacity). לעומת זאת, העברת מידע בקצב גבוה מקיבולת הערוץ אינה אפשרית - קצב השגיאות יהיה גבוה עד כדי אובדן קשר סטטיסטי בין ההודעות הנשלחות והמתקבלות. תוצאה זו הייתה מפתיעה ולא שוערה לפני כן, אך היא הוכחה בפועל במערכות תקשורת רבות מספור בעקבות עבודתו של שאנון.
מאמרו של שאנון היה לאחד המאמרים המשפיעים ביותר על המדע במאה ה-20, והוא מצוטט מעל 45 אלף פעמים במאמרים אקדמאים שונים[2]. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, וחסמים על קצבי שגיאות בשיטות קידוד ופענוח שונות.
יישומים
היישום המעשי של תורתו של שאנון היה לתחום עיקרי בהנדסת מערכות תקשורת שבמסגרתה פותחו שיטות לאפנון, קידוד, דחיסת נתונים, קליטה ותיקון שגיאות שאיפשרו תקשורת אמינה על פני ערוצים מעשיים, החל מקווי טלפון וטלגרף, דרך אפיקי רדיו ועד סיבים אופטיים ומדיה מגנטית ואופטית.
התפתחות טכנולוגיות התקשורת אפשרה העברת מידע מסוגים שונים ומגוונים, כגון מלל, דיבור, מוסיקה, וידאו, וצירופים שלהם (כפי שניתן לעשות כיום במערכות דואר אלקטרוני, מסרים מידיים ושרותי Web). תורת האינפורמציה והטכנולוגיות שנבנו על בסיסה אינן עוסקות במשמעות של המידע[3]. משמעות מוקנית להודעות העוברות בין אנשים או מכונות על ידי תהליכי חשיבה, העושים שימוש ביכולת הבנה והתנסחות ובמאגרי ידע ושליפת פרטים מתוכם. נושאים אלה הם בתחומי הדיסציפלינות של פסיכולוגיה קוגניטיבית ואינטליגנציה מלאכותית, בהם למושג "אינפורמציה" יש משמעויות אחרות.
ראו גם
קישורים חיצוניים
- חומר עזר לקורס בתורת האינפורמציה (לימודי מוסמכים), מאתר הטכניון
לקריאה נוספת
- Mcdonnell, M. D., Ikeda, S., & Manton, J. H. (2011). An introductory review of information theory in the context of computational neuroscience. Biological Cybernetics, 105(1), 55-70.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press 2003.
הערות שוליים
- ^ C.E. Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal, vol. 27, pp. 379–423, 623-656, July, October, 1948
- ^ נכון ל-2011, לפי Google Scholar
- ^ Denning, P. J., & Bell, T. (2012). The Information Paradox. American Scientist, 100(6), 470-477.