נראות מקסימלית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

שיטת הנראות המקסימלית היא שיטה נפוצה בסטטיסטיקה להתאמת מודל סטטיסטי לנתונים, כלומר היא משמשת במסגרת אמידה פרמטרית למציאת אמד לפרמטר המאפיין את המודל. למשל במקרה שבו נתון שמשתנה מקרי הוא בעל התפלגות נורמלית אלא שהתוחלת שלו אינה ידועה, גישה זו מספקת דרך למציאת אומדן לתוחלת.

באופן אינטואיטיבי הגישה אומרת שכדי לנבא היטב את הפרמטר האמיתי על-סמך מדגם מקרי מסוים, יש לבדוק איזה פרמטר מתוך כל האפשרויות הוא זה ש"יסביר" בצורה הטובה ביותר את המדגם. כלומר אומד הנראות המרבית הוא הפרמטר שאם היינו מציבים בפונקציית ההתפלגות מראש, הוא היה נותן את ההסתברות הגבוהה ביותר לקבל את המדגם שאכן התקבל, ובכך ממקסם את פונקציית הנראות.

בשפה המתמטית מקובל לסמן את הנראות המקסימלית באותיות MLE, ראשי תיבות של Maximum Likelihood Estimation.

פונקציית הנראות[עריכת קוד מקור | עריכה]

Postscript-viewer-shaded.png ערך מורחב – פונקציית נראות

נניח כי  X_1,...,X_n מדגם המפולג עם פונקציית הצפיפות  f_x(x,\theta) (כל הדוגמאות שוות התפלגות), ונניח שהדוגמאות בלתי תלויות. פונקציית הנראות (likelihood; מסומנת לעתים כ-\mathcal{L}) של המדגם היא הצפיפות המשותפת: {\displaystyle 
\mathcal{L}(\theta\,;\,x_1,\ldots,x_n) = f(x_1,x_2,\ldots,x_n\mid\theta) = \prod_{i=1}^nf_{x_i}(x,\theta)=f_{x_1}(x,\theta)\cdots f_{x_n}(x,\theta)
}

\theta הוא פרמטר (או פרמטרים) של המודל או של פונקציית הצפיפות.

לעתים נעשה שימוש בנראות הממוצעת   \hat\ell = \frac1n \ln\mathcal{L}  המציינת את תוחלת הנראות לדוגמה יחידה.

אומד הנראות המרבית[עריכת קוד מקור | עריכה]

נרצה למצוא את הערך שממקסם את פונקציית הנראות (\{ \hat\theta_\mathrm{mle}\} \subseteq \{ \underset{\theta\in\Theta}{\operatorname{arg\,max}}\ \hat\ell(\theta\,;\,x_1,\ldots,x_n) \} ), הנקרא אומד הנראות המרבית. נהוג להשתמש בלוגריתם שאיתו בדרך כלל נוח יותר לעבוד (הודות לגזירה פשוטה יותר וליציבות נומרית), ומאחר שהלוגריתם הוא פונקציה מונוטונית עולה, הערך שימקסם את לוג הנראות (log-likelihood) ימקסם גם את הנראות. למציאת הערך המרבי נשתמש ב-\ln, נגזור ונשווה לאפס:

{\displaystyle 
\frac{\partial x\ln(\prod_{i=1}^nf_{x_i}(x,\theta))}{\partial\theta}=\frac{\partial x\sum_{i=1}^n\ln(f_{x_i}(x,\theta))}{\partial\theta}=0
}

מתוך המשוואה המתקבלת מחלצים את ערך הנעלם \theta, והוא זה שממקסם את פונקציית הנראות. ערך זה הוא אומד הנראות המרבית לפרמטר הנאמד \theta.

דוגמאות[עריכת קוד מקור | עריכה]

התפלגות נורמלית[עריכת קוד מקור | עריכה]

בהנחה שגובהן של ג'ירפות מתפלג נורמלית, ניתן לאמוד את ערך התוחלת והשונות באמצעות נראות מקסימלית על מדגם הג'ירפות שבגן החיות, שכן אין באפשרותנו למדוד את גובהן של כל הג'ירפות בעולם. אם נניח כי הג'ירפות בגן החיות מהוות מדגם מקרי של n ג'ירפות מאוכלוסיית הג'ירפות בעולם, x_1, x_2, \ldots, x_n, נוכל לאמוד את הפרמטרים \ \mu ו-\ {\sigma}^2 (התוחלת והשונות) של ההתפלגות באמצעות אומדי נראות מקסימליים כלהלן.

עבור התוחלת:


 \hat{\mu} = \overline{x} \equiv \frac{1}{n}\sum_{i=1}^n x_i, \qquad

ועבור השונות:


 \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})^2.

כאשר  \overline{x} הוא ממוצע המדגם שלנו.

התפלגות אחידה[עריכת קוד מקור | עריכה]

Postscript-viewer-shaded.png ערך מורחב – בעיית הטנק הגרמני

במקרה שבו קלפים ממוספרים 1 עד n מוכנסים לתיבה ואחד נבחר בהתפלגות אחידה; ובהתאם גודל הדגימה הוא 1. אם n אינו ידוע, האומד נראות מקסימלית שלו \hat n הוא המספר m הכתוב על הקלף שנבחר (ההסתברות ש-n הוא קטן מ־m היא אפס, עבור n \geq m ההסתברות היא \frac{1}{n}, והיא הגבוהה ביותר כאשר n=m). התוחלת של הוצאת הקלף m, ובהתאם התוחלת של \hat n היא \frac {n+1}{2}. מסיבה זו עבור דגימה בגודל 1, האומד נראות מקסימלית של n יעריך את n פחות ממה שהוא ב\frac {n-1}{2}.

תכונות אומד נראות מקסימלית[עריכת קוד מקור | עריכה]

  • עקיבות: כאשר גודל המדגם שואף לאינסוף, האומד מתכנס לערכו האמיתי של הפרמטר. זוהי תכונה חשובה מאוד שמאפשרת לנו למעשה לאמוד את הפרמטר בכל רמת דיוק שנרצה.
  • אינווריאנטיות פונקציונאלית: אם \ \hat{\theta} הוא אומד נראות מקסימלית של פרמטר \ \theta, ו-\ g(x) היא פונקציה חד-חד-ערכית, אז \ g(\hat{\theta}) הוא אומד נראות מקסימלית לפרמטר \ g({\theta}).

יישומים[עריכת קוד מקור | עריכה]

אומד נראות מקסימלית משמש למגוון רחב של מודלים סטטיסטיים, כולל:

שימושים אלה עולים במגוון רחב של תחומים, כגון:

ראו גם[עריכת קוד מקור | עריכה]