אנטרופיה מותנית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי Y בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר X (התוחלת היא על שני המשתנים האקראיים).

הגדרה[עריכת קוד מקור | עריכה]

אם נגדיר את האנטרופיה של Y בהינתן זאת שתוצאתו של משתנה אקראי X היא x כ-H(Y|X=x), אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

\begin{align}
H(Y|X)\ &\equiv \sum_{x\in\mathcal X}\,p(x)\,H(Y|X=x)\\
&{=}\sum_{x\in\mathcal X}p(x)\sum_{y\in\mathcal Y}\,p(y|x)\,\log\, \frac{1}{p(y|x)}\\
&=-\sum_{x\in\mathcal X}\sum_{y\in\mathcal Y}\,p(x,y)\,\log\,p(y|x)\\
&=-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log\,p(y|x)\\
&=\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x)} {p(x,y)}. \\
\end{align}

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות[עריכת קוד מקור | עריכה]

לכל שני משתנים אקראיים X ו-Y:

H(Y|X)\,=\,H(X,Y)-H(X) \, .
H(X|Y) \le H(X) \,

H(X,Y) = H(X|Y) + H(Y|X) + I(X;Y) (כאשר I(X;Y) היא האינפורמציה ההדדית)

I(X;Y) \le H(X),\,

אם המשתנים בלתי תלויים, אזי

H(Y|X) = H(Y)\text{ and }H(X|Y) = H(X) \,

ראו גם[עריכת קוד מקור | עריכה]