שיטת המומנטים

בסטטיסטיקה, שיטת המומנטים היא שיטה שבאמצעותה אומדים פרמטרים המאפיינים התפלגות של אוכלוסייה מסוימת.
בשיטה זו, נאמוד את המומנט ה-$k$, באמצעות הממוצע של החזקה ה-$k$. באומדים אלו נשתמש כדי לחלץ אומדים לפרמטרים הלא ידועים.

השיטה

נניח שההתפלגות שמתארת את האוכלוסייה מורכבת מ-$k$ פרמטרים בלתי ידועים: $\theta _{1},\theta _{2},...,\theta _{k}$. פרמטרים אלו מרכיבים את פונקציית הצפיפות $f_{W}(w;\theta )$ של ההתפלגות של משתנה מקרי $W$. נניח שניתן לבטא את $k$ המומנטים של ההתפלגות האמיתית כפונקציות של $\theta _{1},...,\theta _{k}$.

$\mu _{1}\equiv E[W]=g_{1}(\theta _{1},\theta _{2},\dots ,\theta _{k}),$

$\mu _{2}\equiv E[W^{2}]=g_{2}(\theta _{1},\theta _{2},\dots ,\theta _{k}),$

$\vdots$

$\mu _{k}\equiv E[W^{k}]=g_{k}(\theta _{1},\theta _{2},\dots ,\theta _{k}).$

נבחר מדגם בגודל $n$ אשר את תוצאותיו נסמן $w_{1},...,w_{n}$. עבור $j=1,...,k$

נסמן: ${\hat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}$ להיות המומנט המדגמי ה-$j$, אומד ל-$\mu _{j}$.

האומדים בשיטת המומנטים לפרמטרים $\theta _{1},\theta _{2},\dots ,\theta _{k}$, אשר מסומנים ${\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}$, מוגדרים להיות הפתרון של מערכת המשוואות הבאה:

${\hat {\mu }}_{1}=g_{1}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),$

${\hat {\mu }}_{2}=g_{2}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),$

$\vdots$

${\hat {\mu }}_{k}=g_{k}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}).$

דוגמאות

התפלגות מעריכית

יהיו $X_{1},...,X_{n}\sim exp(\theta )$ משתנים מקריים המתפלגים מעריכית עם פרמטר $\theta$.
נסמן: $\mu _{1}=E[X]={\frac {1}{\theta }}$,
אזי ${\hat {\mu }}_{1}={\frac {1}{\hat {\theta }}}$, כאשר ${\hat {\mu }}_{1}={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$.
לכן, האומד ל-$\theta$ בשיטת המומנטים מקיים ${\hat {\theta }}={\frac {1}{\bar {x}}}$

התפלגות גמא

יהיו $y_{1},...,y_{n}\sim \Gamma (\alpha ,\beta )$ משתנים מקריים המתפלגים בהתפלגות גמא.
אזי, ידוע כי התוחלת והשונות של ההתפלגות מקיימות: $E[y]={\frac {\alpha }{\beta }},Var[y]={\frac {\alpha }{\beta ^{2}}}$
נסמן: $m_{1}={\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i},m_{2}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}^{2}$
באמצעות התוחלת והשונות נחשב את המומנט הראשון והשני: $\mu _{1}={\frac {\alpha }{\beta }},\mu _{2}=({\frac {\alpha }{\beta }})^{2}+{\frac {\alpha }{\beta ^{2}}}={\frac {\alpha (\alpha +1)}{\beta ^{2}}}$,
(זאת מאחר ש- $\mu _{2}=E[y^{2}]=Var[y]+E^{2}[y]$)
.
אזי, לפי שיטת המומנטים $m_{1},m_{2}$ הם אומדים למומנטים $\mu _{1},\mu _{2}$. כעת נפתור את מערכת המשוואות:

$\left\{{\begin{matrix}\displaystyle m_{1}={\frac {\alpha }{\beta }}\\m_{2}={\frac {\alpha (\alpha +1)}{\beta ^{2}}}\end{matrix}}\right.$

ומכאן נקבל:
${\hat {\alpha }}={\frac {{\bar {y}}^{2}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}$ ,${\hat {\beta }}={\frac {\bar {y}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}$

אלו האומדים לפרמטרים $(\alpha ,\beta )$ של ההתפלגות, בשיטת המומנטים.

יתרונות וחסרונות השיטה

שיטת המומנטים היא פשוטה באופן יחסי ומפיקה אומדים עקיבים (תחת הנחות חלשות), אם כי אומדים אלה הם לרוב בעלי הטיה.

במקרים רבים, בעת אמידת פרמטרים ממשפחה מוכרת של התפלגויות, קיימת עדיפות לשימוש באומד נראות מרבית. עם זאת, ישנם מקרים בהם לא ניתן לחשב אומד בשיטת הנראות המרבית ללא שימוש בכוח מחשוב. לעומת זאת ניתן לחשב אומד בשיטת המומנטים בקלות בצורה ידנית, ואף להשתמש בהם כנקודת התחילה לשיטות היוריסטיות למציאת אומד הנראות המרבית.