אינפורמציה הדדית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האינפורמציה ההדדית של שני משתנים מקריים היא גודל המודד את הקשר ההדדי ביניהם.

הגדרה[עריכת קוד מקור | עריכה]

האינפורמציה ההדדית בין שני משתנים דיסקרטיים X ו-Y מוגדרת כ:

 I(X;Y) = \sum_{y \in Y} \sum_{x \in X} 
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) }, \,\!

כאשר p(x, y) היא ההתפלגות המשותפת שלהם, ו- p(x), p(y) היא ההתפלות של כ"א מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

 I(X;Y) = \int_Y \int_X 
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) } \; dx \,dy,

כאשר במקרה זה p(x, y) היא ההצפיפות המשותפת שלהם, ו- p(x), p(y) היא הצפיפות של כ"א מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס e, ומציינים את הבסיס מראש.

הסבר אינטואיטיבי[עריכת קוד מקור | עריכה]

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת X מלמדת על תוצאת Y:

  1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. בתרשים לעיל, אין חפיפה כלל.
  2. בקיצוניות השנייה, אם תוצאת X מלמדת לחלוטין על תוצאת Y (לדוגמה, אם מדובר באותו משתנה, או אם Y = 2 X + 1), אז האינפורמציה ההדדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר I(X; Y) = H(X). בתרשים לעיל, החפיפה היא מושלמת.

הקשר לגדלים אחרים בתורת האינפורמציה[עריכת קוד מקור | עריכה]

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:


\begin{align}
I(X;Y) & {} = H(X) - H(X|Y) \\ 
& {} = H(Y) - H(Y|X) \\ 
& {} = H(X) + H(Y) - H(X,Y) \\
& {} = H(X,Y) - H(X|Y) - H(Y|X)
\end{align}

ראו גם[עריכת קוד מקור | עריכה]