נראות מקסימלית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

שיטת הנראות המקסימלית היא מתודה נפוצה בסטטיסטיקה להתאמת מודל סטטיסטי לנתונים, כלומר היא משמשת במסגרת אמידה פרמטרית למציאת אמד לפרמטר המאפיין את המודל. למשל במקרה בו נתון שמשתנה מקרי הוא בעל התפלגות נורמלית אלא שהתוחלת שלו אינה ידועה, גישה זו מספקת דרך למציאת אומדן לתוחלת.

באופן אינטואיטיבי הגישה אומרת שכדי לנבא היטב את הפרמטר האמתי על-סמך מדגם מקרי מסוים, יש לבדוק איזה פרמטר מתוך כל האפשרויות הוא זה ש"יסביר" הכי טוב את המדגם. כלומר אמד הנראות המרבית הוא הפרמטר שאם היינו מציבים בפונקציית ההתפלגות מראש, הוא היה נותן את ההסתברות הגבוהה ביותר לקבל את המדגם שאכן התקבל.

בשפה המתמטית מקובל לסמן את הנראות המקסימלית באותיות MLE, ראשי תיבות של Maximum Likelihood Estimation.

פונקציית הנראות המרבית[עריכת קוד מקור | עריכה]

נניח כי  X_1,...,X_n מדגם המפולג עם פונקציית הצפיפות  f_x(x,\theta). פונקציית הנראות של המדגם היא הצפיפות המשותפת:


\prod_{i=1}^nf_{x_i}(x,\theta)=f_{x_1}(x,\theta)\cdots f_{x_n}(x,\theta)

כדי למצוא את אמד הנראות המרבית, נרצה למצוא את הערך שממקסם את פונקציית הנראות ( arg\min ). לשם כך נפעיל \ln, נגזור ונשווה לאפס:


\frac{\partial x\ln(\prod_{i=1}^nf_{x_i}(x,\theta))}{\partial\theta}=0

מתוך המשוואה המתקבלת מחלצים את ערך הנעלם \theta, והוא זה שממקסם את פונקציית הנראות. ערך זה הוא אמד הנראות המרבית לפרמטר הנאמד \theta.

דוגמה[עריכת קוד מקור | עריכה]

בהנחה שגובהן של ג'ירפות מתפלג נורמלית, ניתן לאמוד את ערך התוחלת והשונות באמצעות נראות מקסימלית על מדגם הג'ירפות שבגן החיות, שכן אין באפשרותנו למדוד את גובהן של כל הג'ירפות בעולם. אם נניח כי הג'ירפות בגן החיות מהוות מדגם מקרי של n ג'ירפות מאוכלוסיית הג'ירפות בעולם, x_1, x_2, \ldots, x_n, נוכל לאמוד את הפרמטרים \ \mu ו-\ {\sigma}^2 (התוחלת והשונות) של ההתפלגות באמצעות אומדי נראות מקסימליים כלהלן.

עבור התוחלת:


    \hat{\mu} = \overline{x} \equiv \frac{1}{n}\sum_{i=1}^n x_i, \qquad

ועבור השונות:


    \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})^2.

כאשר  \overline{x} הוא ממוצע המדגם שלנו.

תכונות אומד נראות מקסימלית[עריכת קוד מקור | עריכה]

  • עקיבות: כאשר גודל המדגם שואף לאינסוף, האומד מתכנס לערכו האמיתי של הפרמטר. זוהי תכונה חשובה מאוד שמאפשרת לנו למעשה לאמוד את הפרמטר בכל רמת דיוק שנרצה.
  • אינווריאנטיות פונקציונאלית: אם \ \hat{\theta} הוא אומד נראות מקסימלית של פרמטר \ \theta, ו-\ g(x) הינה פונקציה חד-חד-ערכית, אז \  g(\hat{\theta}) הוא אומד נראות מקסימלית לפרמטר \  g({\theta}).