אינפורמציה הדדית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האינפורמציה ההדדית של שני משתנים מקריים היא גודל המודד את הקשר ההדדי ביניהם.

הגדרה

האינפורמציה ההדדית בין שני משתנים דיסקרטיים $X$ ו-$Y$ מוגדרת כ:

$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }, \,\!$

כאשר $p(x, y)$ היא ההתפלגות המשותפת שלהם, ו- $p(x), p(y)$ היא ההתפלות של כ"א מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

$I(X;Y) = \int_Y \int_X p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) } \; dx \,dy,$

כאשר במקרה זה $p(x, y)$ היא ההצפיפות המשותפת שלהם, ו- $p(x), p(y)$ היא הצפיפות של כ"א מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס $e$, ומציינים את הבסיס מראש.

הסבר אינטואיטיבי

אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת $X$ מלמדת על תוצאת $Y$:

1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים, ואי אפשר ללמוד כלום. בתרשים לעיל, אין חפיפה כלל.
2. בקיצוניות השניה, אם תוצאת $X$ מלמדת לחלוטין על תוצאת $Y$ (לדוגמה, אם מדובר באותו משתנה, או אם $Y = 2 X + 1$), אז האינפורמציה ההדית היא האנטרופיה של כ"א מהמשתנים האחרים, כלומר $I(X; Y) = H(X)$. בתרשים לעיל, החפיפה היא מושלמת.

הקשר לגדלים אחרים בתורת האינפורמציה

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

$\begin{align} I(X;Y) & {} = H(X) - H(X|Y) \\ & {} = H(Y) - H(Y|X) \\ & {} = H(X) + H(Y) - H(X,Y) \\ & {} = H(X,Y) - H(X|Y) - H(Y|X) \end{align}$

ראו גם

• אנטרופיה (סטטיסטיקה)
• אנטרופיה מותנית