אנטרופיה מותנית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי $Y$ בהנחה שתוצאתו של משתנה אקראי אחר $X$ ידועה (התוחלת היא על שני המשתנים האקראיים).

הגדרה

$H(Y|X=x)$ היא האנטרופיה של $Y$ בהינתן שתוצאתו של משתנה אקראי $X$ היא $x$. לפיכך ההגדרה לאנטרופיה מותנית של משתנים בדידים היא:

${\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}}\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}\\\end{aligned}}$

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים $X$ ו-$Y$:

• $H(Y|X)\,=\,H(X,Y)-H(X)$
• $H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)$ (כאשר $I(X;Y)$ היא האינפורמציה ההדדית)
• $H(X|Y)\leq H(X)$, ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, $H(Y|X)\leq H(Y)$, עם שוויון באותם תנאים.
• $I(X;Y)\leq H(X)$, ושוויון מתקבל רק כאשר $Y=f(X)$ ו-$f$ הפיכה על תחום הערכים ש-X מקבל.

ראו גם

• אנטרופיה (סטטיסטיקה)
• אינפורמציה הדדית