אינפורמציה הדדית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש
Nuvola apps edu mathematics blue-p.svg

בערך זה
נעשה שימוש
בסימנים מוסכמים
מתחום המתמטיקה.
להבהרת הסימנים
ראו סימון מתמטי.

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האינפורמציה ההדדית של שני משתנים מקריים היא גודל המודד את הקשר ההדדי ביניהם.

הגדרה[עריכת קוד מקור | עריכה]

האינפורמציה ההדדית בין שני משתנים דיסקרטיים ו- מוגדרת כ:

כאשר היא ההתפלגות המשותפת שלהם, ו- היא ההתפלות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

כאשר במקרה זה היא הצפיפות המשותפת שלהם, ו- היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס , ומציינים את הבסיס מראש.

הסבר אינטואיטיבי[עריכת קוד מקור | עריכה]

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת מלמדת על תוצאת :

  1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. בתרשים לעיל, אין חפיפה כלל.
  2. בקיצוניות השנייה, אם תוצאת מלמדת לחלוטין על תוצאת (לדוגמה, אם מדובר באותו משתנה, או אם ), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר . בתרשים לעיל, החפיפה היא מושלמת.

הקשר לגדלים אחרים בתורת האינפורמציה[עריכת קוד מקור | עריכה]

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

ראו גם[עריכת קוד מקור | עריכה]