אנטרופיה מותנית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי $Y$ בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר $X$ (התוחלת היא על שני המשתנים האקראיים).

הגדרה

אם נגדיר את האנטרופיה של $Y$ בהנתן זאת שתוצאתו של משתנה אקראי $X$ היא $x$ כ-$H(Y|X=x)$, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

$\begin{align} H(Y|X)\ &\equiv \sum_{x\in\mathcal X}\,p(x)\,H(Y|X=x)\\ &{=}\sum_{x\in\mathcal X}p(x)\sum_{y\in\mathcal Y}\,p(y|x)\,\log\, \frac{1}{p(y|x)}\\ &=-\sum_{x\in\mathcal X}\sum_{y\in\mathcal Y}\,p(x,y)\,\log\,p(y|x)\\ &=-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log\,p(y|x)\\ &=\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x)} {p(x,y)}. \\ \end{align}$

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים $X$ ו-$Y$:

$H(Y|X)\,=\,H(X,Y)-H(X) \, .$

$H(X|Y) \le H(X) \,$

$H(X,Y) = H(X|Y) + H(Y|X) + I(X;Y)$ (כאשר $I(X;Y)$ היא האינפורמציה ההדדית)

$I(X;Y) \le H(X),\,$

אם המשתנים בלתי תלויים, אז

$H(Y|X) = H(Y)\text{ and }H(X|Y) = H(X) \,$

ראו גם

• אנטרופיה (סטטיסטיקה)
• אינפורמציה הדדית