התפלגות צמודה

בהסתברות בייסיאנית, אם ההתפלגות הפוסטריורית שייכת לאותה משפחת התפלגויות כמו ההתפלגות הפריורית אז שתי ההתפלגויות הן צמודות זו לזו וההתפלגות הפריורית נקראת התפלגות צמודה ביחס לפונקציית הנראות.

העבודה עם התפלגויות צמודות נוחה מבחינה אלגברית, מאחר שהיא מבטיחה ביטוי פשוט יחסית עבור ההתפלגות הפוסטריורית; אחרת, מאוד ייתכן שתדרש אינטגרציה נומרית. כמו כן לעיתים קרובות כאשר ההתפלגויות צמודות העדכון של פונקציית ההתפלגות לפונקציית התפלגות פוסטריורית על ידי פונקציית הנראות הוא יותר אינטואיטיבי.

המושגים האלו, הוצגו על ידי הווארד רייפה ורוברט שלייפר בעבודתם על תורת קבלת ההחלטות הבייסיאנית. מושג דומים התגלו באופן עצמאי ידי ג'ורג' אלפרד ברנרד.

דוגמה

ניתן להסיק מפונקציית ההסתברות (או מפונקציית הצפיפות כאשר המשתנה המקרי רציף) את הצורה של ההתפלגות הפריורית. לדוגמה, פונקציית ההסתברות של משתנה מקרי בינומי ${\textstyle X\sim Bin(n,Q)}$ היא:

$$\Pr(X=s)={n \choose s}Q^{s}(1-Q)^{n-s}$$

ההתפלגות הצמודה המקובלת עבור משתנה בינומי היא התפלגות בטא ${\textstyle Q\sim Beta(\alpha ,\beta )}$ :

$$\Pr(Q=q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}$$

כאשר $\alpha$ ו- $\beta$ נבחרו כדי לשקף הנחה, אמונה או מידע קיים (למשל $\alpha =\beta =1$ היא התפלגות אחידה) ו- $\mathrm {B} (\alpha ,\beta )$ היא פונקציית בטא המשמשת כקבוע מנרמל.

בהקשר הזה $\alpha$ ו- $\beta$ נקראים היפרפרמטרים (פרמטרים של ההתפלגות הפריורית, כדי להבדילם מפרמטרים של המודל המדובר ($Q$).

אם נקח דגימה של המשתנה המקרי, ${\textstyle X=s}$ ונשתמש במשפט בייס, נקבל את ההתפלגות הפוסטריורית:

${\begin{aligned}\Pr(X=s\mid Q=x)&={n \choose s}x^{s}(1-x)^{n-s},\\\Pr(Q=x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\\Pr(Q=x\mid X=s)&={\frac {\Pr(X=s\mid Q=x)\Pr(Q=x)}{\int \Pr(Q=s\mid Q=y)\Pr(Q=y)dy}}\\&={{{n \choose s}x^{s+\alpha -1}(1-x)^{n-s+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({n \choose s}y^{s+\alpha -1}(1-y)^{n-s+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{n-s+\beta -1} \over \mathrm {B} (s+\alpha ,n-s+\beta )},\end{aligned}}$

קיבלנו שוב התפלגות בטא עם מקדמים מעודכנים ${\textstyle Q\sim Beta(\alpha +s,\beta +n-s)}$.

התפלגות פוסטריורית זו יכולה לשמש שוב כהתפלגות פריורית עבור דגימות נוספות, כאשר בכל פעם מעדכנים את ההיפרפרמטרים בהתאם לתוצאות. כל דגימה מקטינה את השונות של ${\textstyle Q}$ ולכן משפרת את הידיעה שלנו עליו.