אנטרופיה מותנית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר (התוחלת היא על שני המשתנים האקראיים).

הגדרה[עריכת קוד מקור | עריכה]

אם נגדיר את האנטרופיה של בהינתן זאת שתוצאתו של משתנה אקראי היא כ-, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות[עריכת קוד מקור | עריכה]

לכל שני משתנים אקראיים ו-:

(כאשר היא האינפורמציה ההדדית)

אם המשתנים בלתי תלויים, אזי

ראו גם[עריכת קוד מקור | עריכה]