שיטת המומנטים

בסטטיסטיקה, שיטת המומנטים היא שיטה שבאמצעותה אומדים פרמטרים המאפיינים התפלגות של אוכלוסייה מסוימת.
בשיטה זו, נאמוד את המומנט ה-$k$, באמצעות הממוצע של החזקה ה-$k$. באומדים אלו נשתמש כדי לחלץ אומדים לפרמטרים הלא ידועים.

השיטה

נניח שההתפלגות שמתארת את האוכלוסייה מורכבת מ-$k$ פרמטרים בלתי ידועים: $\theta _{1},\theta _{2},...,\theta _{k}$. פרמטרים אלו מרכיבים את פונקציית הצפיפות $f_{W}(w;\theta )$ של ההתפלגות של משתנה מקרי $W$. נניח שניתן לבטא את $k$ המומנטים של ההתפלגות האמיתית כפונקציות של $\theta _{1},...,\theta _{k}$.

$\mu _{1}\equiv E[W]=g_{1}(\theta _{1},\theta _{2},\dots ,\theta _{k}),$

$\mu _{2}\equiv E[W^{2}]=g_{2}(\theta _{1},\theta _{2},\dots ,\theta _{k}),$

$\vdots$

$\mu _{k}\equiv E[W^{k}]=g_{k}(\theta _{1},\theta _{2},\dots ,\theta _{k}).$

נבחר מדגם בגודל $n$ אשר את תוצאותיות נסמן $w_{1},...,w_{n}$. עבור $j=1,...,k$

נסמן: ${\hat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}$ להיות המומנט המדגמי ה-$j$, אומד ל-$\mu _{j}$.

האומדים בשיטת המומנטים לפרמטרים $\theta _{1},\theta _{2},\dots ,\theta _{k}$, אשר מסומנים ${\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}$, מוגדרים להיות הפתרון של מערכת המשוואות הבאה:

${\hat {\mu }}_{1}=g_{1}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),$

${\hat {\mu }}_{2}=g_{2}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),$

$\vdots$

${\hat {\mu }}_{k}=g_{k}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}).$

דוגמאות

התפלגות מעריכית

יהיו $X_{1},...,X_{n}\sim exp(\theta )$ משתנים מקריים המתפלגים מעריכית עם פרמטר $\theta$.
נסמן: $\mu _{1}=E[X]={\frac {1}{\theta }}$,
אזי ${\hat {\mu }}_{1}={\frac {1}{\hat {\theta }}}$, כאשר ${\hat {\mu }}_{1}={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$.
לכן, האומד ל-$\theta$ בשיטת המומנטים מקיים ${\hat {\theta }}={\frac {1}{\bar {x}}}$

התפלגות גמא

יהיו $y_{1},...,y_{n}\sim \Gamma (\alpha ,\beta )$ משתנים מקריים המתפלגים בהתפלגות גמא.
אזי, ידוע כי התוחלת והשונות של ההתפלגות מקיימות: $E[y]={\frac {\alpha }{\beta }},Var[y]={\frac {\alpha }{\beta ^{2}}}$
נסמן: $m_{1}={\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i},m_{2}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}^{2}$
באמצעות התוחלת והשונות נחשב את המומנט הראשון והשני: $\mu _{1}={\frac {\alpha }{\beta }},\mu _{2}=({\frac {\alpha }{\beta }})^{2}+{\frac {\alpha }{\beta ^{2}}}={\frac {\alpha (\alpha +1)}{\beta ^{2}}}$,
(זאת מאחר ש- $\mu _{2}=E[y^{2}]=Var[y]+E^{2}[y]$)
.
אזי, לפי שיטת המומנטים $m_{1},m_{2}$ הם אומדים למומנטים $\mu _{1},\mu _{2}$. כעת נפתור את מערכת המשוואות:

$\left\{{\begin{matrix}\displaystyle m_{1}={\frac {\alpha }{\beta }}\\m_{2}={\frac {\alpha (\alpha +1)}{\beta ^{2}}}\end{matrix}}\right.$

ומכאן נקבל:
${\hat {\alpha }}={\frac {{\bar {y}}^{2}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}$ ,${\hat {\beta }}={\frac {\bar {y}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}$

אלו האומדים לפרמטרים $(\alpha ,\beta )$ של ההתפלגות, בשיטת המומנטים.