מקדם בייס

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה לניווט קפיצה לחיפוש

בסטטיסטיקה, מְקַדֵם בֵּייס משמש אלטרנטיבה בייסיאנית לבדיקת השערות קלאסית.[1][2] השוואת מודלים בייסיאניים היא שיטה של הכרעה בין מודלים שונים בהתבסס על חישוב מקדם בייס. מקדם בייס משמש לכימות היחס בין העדויות התומכות בעד סבירות גבוהה יותר של מודל אחד על פני מודל אחר.[3] ההגדרה הפורמלית של רעיון "עדויות תומכות" בהסקה בייסיאנית יתואר בהמשך.

הגדרה[עריכת קוד מקור | עריכה]

מקדם בייס הוא יחס בין הנראות (likelihood) של השערות מתחרות, בדרך כלל השערת אפס והשערת החוקר, או מספר מודלים אלטרנטיביים.[4]

ההסתברות הפוסטריורית (posterior probability) מוגדרת בתור , והיא ההסתברות לנכונותו של מודל M בהינתן סט נתונים D, על ידי חוק בייס:

הנראות (likelihood) מייצגת את ההסתברות כי סט נתונים D הגיע מתוך מודל M, ונכתב באופן רשמי בתור .

לדוגמה: בהטלת מטבע נצפה סט נתונים (D) של 5 תוצאות "עץ". במודל סטטיסטי של מטבע הוגן (סיכוי q=0.5 לקבלת עץ) הסבירות, או הסיכוי לנתונים בהינתן המודל, היא Pr(D|M)=0.5^5=0.03125. לעומת זאת במודל של מטבע מוטה (עם סיכוי q=0.9 לקבלת עץ) הסבירות, או הסיכוי לנתונים בהינתן המודל, היא Pr(D|M)=0.9^5=0.5905.

הערכת הנראות מהווה את הבסיס להשוואה בייסיאנית בין מודלים. בהשוואת מודלים, אנחנו צריכים לבחור בין שני מודלים על בסיס נתונים (D). הנראות של שני מודלים M1, ו-M2, מבוטאת על ידי שני וקטורים וגם שבאמצעותם מחושב מקדם בייס, K.

יתרונה של שיטת השוואת מודלים באמצעות מקדם בייס על פני מבחן סטטיסטיים כגון מבחן יחס-נראות נעוצה בעובדה שסבירותם של מודלים פשוטים יותר עם פחות פרמטרים, באופן טבעי יותר מקבלת יתרון בהשוואת מודלים ביסייאניים[5] ובכך ניתן להימנע מתופעת התאמת יתר (overfitting).

פרשנות[עריכת קוד מקור | עריכה]

ערך K גדול מ-1 מציין כי המודל הראשון יותר נתמך על ידי הנתונים בחשבון בהשוואה למודל השני. בדיקת השערות קלאסית, בוחנת רק מודל אחד (השערת האפס) ומכמתת את הסבירות לנתונים בהינתן המודל, כאשר בתהליך ההסקה הסטטיסטית, סבירות נמוכה מאוד של הנתונים (לרוב p<0.05) תוביל לדחיית השערת האפס. הרולד ג'פרי יצר את הטבלה הבאה לפרשנות ערכי K שונים:[6]

K dHart ביטים פרשנות
קטן מ-1
קטן מ-0
שלילי (תומך M2)
100עד 101/2
0 עד 5
0 עד 1.6
בקושי שווה להזכיר
101/2 עד 101
5 עד 10
1.6 עד 3.3
משמעותי
101 עד 103/2
10 עד 15
3.3 עד 5.0
חזק
103/2 עד 102
15 עד-20.
5.0 עד 6.6
חזק מאוד
גדול מ 102
גדול מ 20
גדול מ 6.6
החלטי

פרשנות מקובלת אלטרנטיבית הוצעה על ידי Kass ו Raftery (1995):

K פרשנות
0 עד 2
1 עד 3
בקושי שווה להזכיר
2 עד 6
3 עד 20
חיובי
6 עד 10
20 עד 150
חזק
מעל 10
מעל 150
חזק מאוד

מקדם בייס מכמת עבורנו איזו מההשערות היא הסבירה ביותר, בהינתן סט הנתונים שבידנו.

דוגמה[עריכת קוד מקור | עריכה]

נסתכל על דוגמה עם משתנה תלוי דיכוטומי (בינומי). נניח ובידנו משתנה מקרי שמייצר בכל צעד הצלחה או כישלון. אנו מעוניינים להשוות בין מודל M1 שבו ההסתברות להצלחה היא q=0.5, אל מודל M2 בו q אינו ידוע, ונלקח מהתפלגות אחידה בטווח [0,1]. בידנו סט נתונים (D) של 200 ניסיונות, אשר מתוכם 115 הצלחות אל מול 85 כשלונות. את הסבירות לקבלת סט נתונים זה בהינתן כל אחד מהמודלים ניתן לחשב באמצעות ההתפלגות הבינומית:

לפיכך, נקבל עבור המודל הראשון

ועבור המודל השני

בחישוב מקדם בייס כיחס בין שתי הסבירויות נגלה כי K=1.197. כלומר, העדויות מעט נוטות לטובת המודל הראשון, אם כי באופן זניח.

בדיקת השערות קלאסית של מודל M1 (שבהקשר זה הוא השערת האפס) יספק תוצאה שונה בתכלית. במבחן הבינום הסבירות לקבלת 115 הצלחות או יותר מתוך 200 היא p=0.02. מכאן שבבדיקת השערות ברמת ביטחון של 95% (דו-צדדית) היינו מגיעים למסקנה כי עלינו לדחות את השערת האפס, וכי לא סביר שהתוצאה שהתקבלה נדגמה מתוך השערת האפס.

מודל M2מורכב יותר לבחינה מהמודל הראשון, מאחר שהוא מכיל פרמטר חופשי המאפשר לו התאמה מוצלחת יותר לנתונים. היכולת של כלי הסקה ביסיאנית להתמודד עם מודלים מורכבים כגון זה משמעותית במיוחד ביכולה להפחית טעות מסוג I[7]

הפניות[עריכת קוד מקור | עריכה]

  • Bernardo, J.; Smith, A. F. M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4. 
  • Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian Methods for Nonlinear Classification and Regression. John Wiley. ISBN 0-471-49036-9. 
  • Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). "Section 9.6.5". Pattern classification (מהדורה שנייה). Wiley. עמ' 487–489. ISBN 0-471-05669-3. 
  • Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Bayesian Data Analysis. London: Chapman & Hall. ISBN 0-412-03991-5. 
  • Jaynes, E. T. (1994), Probability Theory: the logic of science, chapter 24.
  • Lee, P. M. (2012). Bayesian Statistics: an introduction. Wiley. ISBN 9781118332573. 
  • Winkler, Robert (2003). Introduction to Bayesian Inference and Decision (מהדורה שנייה). Probabilistic. ISBN 0-9647938-4-9. 

קישורים חיצוניים[עריכת קוד מקור | עריכה]

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ Goodman S (1999). "Toward evidence-based medical statistics. 1: The P value fallacy" (PDF). Ann Intern Med 130 (12): 995–1004. PMID 10383371. doi:10.7326/0003-4819-130-12-199906150-00008. 
  2. ^ Goodman S (1999). "Toward evidence-based medical statistics. 2: The Bayes factor" (PDF). Ann Intern Med 130 (12): 1005–13. PMID 10383350. doi:10.7326/0003-4819-130-12-199906150-00019. 
  3. ^ Ly, Alexander, Josine Verhagen, and Eric-Jan Wagenmakers.
  4. ^ Good, Phillip; Hardin, James (23 ביולי 2012). Common errors in statistics (and how to avoid them) (מהדורה 4). Hoboken, New Jersey: John Wiley & Sons, Inc. עמ' 129–131. ISBN 978-1118294390. 
  5. ^ Robert E. Kass & Adrian E. Raftery (1995). "Bayes Factors". Journal of the American Statistical Association 90. doi:10.2307/2291091. 
  6. ^ H. Jeffreys (1961). The Theory of Probability (מהדורה 3). Oxford. 
  7. ^ Sharpening Ockham's Razor On a Bayesian Strop