נראות מקסימלית

נראות מקסימלית היא שיטה נפוצה בסטטיסטיקה להתאמת מודל סטטיסטי לנתונים, ולחישוב אומדן לפרמטרים המאפיינים את המודל. בהינתן מדגם מקרי מאוכלוסייה מסוימת וההתפלגות ממנה המדגם נלקח, הנראות המקסימלית מאפשרת לאמוד את הפרמטרים של אותה ההתפלגות. עבור התפלגות נורמלית למשל, הנראות המקסימלית מאפשרת לאמוד את ערכם של התוחלת וסטיית התקן של ההתפלגות הנורמלית המתארת את האוכלוסייה ממנה נלקח המדגם.

בשפה המתמטית מקובל לסמן את הנראות המקסימלית באותיות MLE, ראשי תיבות של Maximum Likelihood Estimation.

פונקציית הנראות המרבית

יהי $x_i~f_x(x,\theta)$, פונקציית הנראות של המדגם היא מכפלת הצפיפויות. כלומר

$\prod_{i=1}^nf_{x_i}(x,\theta)=f_{x_1}(x,\theta)\cdots f_{x_n}(x,\theta)$

בכדי למצוא את אמד הנראות המרבי, יש להפעיל $\ln$, לגזור ולהשוות לאפס.

$\frac{\partial x\ln(\prod_{i=1}^nf_{x_i}(x,\theta))}{\partial\theta}=0$

אמד הנראות המרבי הוא האמד המוצלח לפרמטר $\theta$ אותו אנו אומדים.

דוגמה

בהנחה שגובהן של ג'ירפות מתפלג נורמלית, ניתן לאמוד את ערך התוחלת והשונות באמצעות נראות מקסימלית על מדגם הג'ירפות שבגן החיות, שכן אין באפשרותנו למדוד את גובהן של כל הג'ירפות בעולם. אם נניח כי הג'ירפות בגן החיות מהוות מדגם מקרי של n ג'ירפות מאוכלוסיית הג'ירפות בעולם, $x_1, x_2, \ldots, x_n$, נוכל לאמוד את הפרמטרים $\ \mu$ ו-$\ {\sigma}^2$ (התוחלת והשונות) של ההתפלגות באמצעות אומדי נראות מקסימליים כלהלן.

עבור התוחלת:

$\hat{\mu} = \overline{x} \equiv \frac{1}{n}\sum_{i=1}^n x_i, \qquad$

ועבור השונות:

$\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})^2.$

כאשר $\overline{x}$ הוא ממוצע המדגם שלנו.

תכונות אומד נראות מקסימלית

• עקיבות: כאשר גודל המדגם שואף לאינסוף, האומד מתכנס לערכו האמיתי של הפרמטר. זוהי תכונה חשובה מאוד שמאפשרת לנו למעשה לאמוד את הפרמטר בכל רמת דיוק שנרצה.
• אינווריאנטיות פונקציונאלית: אם $\ \hat{\theta}$ הוא אומד נראות מקסימלית של פרמטר $\ \theta$, ו-$\ g(x)$ הינה פונקציה חד-חד-ערכית, אז $\ g(\hat{\theta})$ הוא אומד נראות מקסימלית לפרמטר $\ g({\theta})$.