הסתברות בייסיאנית

הסתברות בייסיאנית (באנגלית: Bayesian probability) היא פרשנות של הסתברות, שלפיה הסתברות מבטאת את מידת האמונה או הידע הקיים לגבי מאורע, השערה או ערכו של פרמטר לא ידוע, ולא רק את שכיחותם של מאורעות חוזרים. בגישה זו אי־הוודאות מיוצגת באמצעות התפלגות הסתברות, המתארת את מידת הסבירות המיוחסת לערכים האפשריים של השערה או פרמטר.

כאשר מתקבל מידע חדש, מתעדכנת התפלגות ההסתברות בהתאם למשפט בייס, כך שהיא משלבת את הידע הקודם עם הראיות החדשות.^[1] ההתפלגות שלפני קבלת הנתונים נקראת הסתברות פריורית, ואילו ההתפלגות שלאחר עדכון המידע נקראת הסתברות פוסטריורית.

הסתברות בייסיאנית קרויה על שמו של הסטטיסטיקאי האנגלי תומאס בייס. היא מהווה את הבסיס לסטטיסטיקה בייסיאנית, ובניגוד לסטטיסטיקה הקלאסית, מאפשרת לייחס התפלגות הסתברות להשערות ולפרמטרים בלתי ידועים ולעדכן אותה באופן שיטתי עם הצטברות נתונים חדשים. עדכון ההסתברות בגישה הבייסיאנית מבוסס מתמטית על משפט בייס, שהוא נוסחה המתארת את הקשר בין הסתברויות מותנות. המשפט מאפשר לחשב את ההסתברות המעודכנת של השערה לאחר קבלת מידע חדש.

מתודולוגיה

מאפייני המתודולוגיה של ההסתברות הבייסיאנית הם:

השערה אינה מקבלת ערך אמת של 0 (שקר) או 1 (אמת), אלא מקבלת ערך שאינו 0 או 1 כשערך האמת שלה אינו ידוע. במובן זה הסטטיסטיקה המקובלת דומה ללוגיקה בוליאנית וההסתברות הבייסיאנית דומה ללוגיקה עמומה.
שימוש במשתנים רנדומליים או באופן כללי יותר שימוש בכימות לא ידוע למידול כל מקורות אי-הוודאות במודל הסטטיסטי.^[2]
קביעת התפלגות ההסתברות הפריורית מתבססת על הנתונים הידועים באותה נקודת זמן.

דוגמאות להמחשה

בדיקה אם מטבע הוא הוגן

נניח שמוצאים מטבע חדש, ולא ידוע אם הוא מאוזן. מטבע מאוזן הוא מטבע שבו הסיכוי לקבלת כל אחד משני הצדדים — "עץ" או "פלי" — דומה (כ־50%). לעומת זאת, מטבע מוטה הוא מטבע שבו אחד הצדדים מתקבל בתדירות גבוהה יותר מהצד השני. לפני ביצוע הטלות, ניתן להסתמך על הידע הקודם שלפיו רוב המטבעות מאוזנים, ולכן להניח שהערך הסביר ביותר של (p), ההסתברות לקבלת "עץ", קרוב ל־0.5. עם זאת, קיימת אי־ודאות לגבי ערכו המדויק של (p), והיא מיוצגת באמצעות התפלגות פריורית.

נניח שמטילים את המטבע עשר פעמים ומתקבלות תשע תוצאות של "עץ". תוצאה כזו מגדילה את הסבירות שהמטבע אינו מאוזן, ושערכו של (p), ההסתברות לקבלת "עץ", גבוה מ־0.5. בגישה הבייסיאנית משלבים את המידע החדש עם הידע הקודם, ומקבלים התפלגות פוסטריורית חדשה המתארת את ההערכה המעודכנת לגבי ערכו האפשרי של (p). אם ממשיכים לבצע הטלות נוספות, ההתפלגות הפוסטריורית ממשיכה להתעדכן. לדוגמה, לאחר מאה הטלות, שבהן מתקבל מספר גדול של תוצאות "עץ" ביחס ל"פלי", ההתפלגות תתרכז יותר סביב הערכים שמתאימים לתוצאות שנצפו. ככל שמספר ההטלות גדל, אי־הוודאות לגבי ערכו של (p) הולכת וקטנה, וההתפלגות נעשית צרה יותר.

בדיקת רפואית למחלה נדירה

דוגמה רפואית קלאסית להמחשת הסתברות בייסיאנית היא בדיקת סקר למחלה נדירה. לדגומה נניח שקיים וירוס המופיע ב-1% בלבד מהאוכלוסייה. וקיימת בדיקה בעלת דיוק של 95% לזיהוי החולים. אם מטופל נבדק בבדיקה כזו ויצא לו מרות שהבדיקה חיובית, הסיכוי האמיתי שהנבדק חולה אינו 95% אלא רק כ-16%, משום שהאוכלוסייה הבריאה מייצרת כמות גדולה בהרבה של תוצאות חיוביות שגויות.

נניח שמתוך אוכלוסייה ביצענו מדגם של 1,000 איש שקיימו בדיקות. רק 10 איש חולים בממוצע (1000 × 0.01), ומתוכם 9.5 יקבלו תוצאה חיובית. מתוך 990 האנשים הבריאים, כ-49.5 איש יקבלו בטעות תוצאה חיובית (990 × 0.05).לכן סך כל התוצאות החיוביות באוכלוסייה יהיה בערך 9.5 + 49.5 = 59.

הסיכוי האמיתי לכך שנבדק שקיבל תוצאה חיובית הוא חולה, הוא היחס בין החולים האמיתיים שנדגמו לכלל הנבדקים החיוביים: כלומר 9.5 חלקי 59, כלומר כ-16% בלבד.

הפער בין האינטואציה ("הנבדק חולה בסיכוי של 95%") לבין המציאות מקצין ככל שהמחלה נדירה יותר, ומצב זה מכונה בספרות "פרדוקס בדיקת הסקר" (False-positive paradox) או "כשל הסתברות קודמת". כאשר שכיחות המחלה צונחת לאחד ל-1,000, הסיכוי של אדם להיות חולה באמת לאחר קבלת תשובה חיובית קורס ל-1.87 אחוז.

היסטוריה

המונח הסתברות בייסיאנית נגזר משמו של תומאס בייס (1761-1702), שהיה זה שהגה את הפרשנות של המושג הסתברות, כהסתברות המשתנה על פי המידע הידוע בזמן מסוים ומתעדכנת כשנצבר מידע נוסף. בייס הוכיח מקרה פרטי של הטענה שלו הנקרא היום חוק בייס. המאמר הראשון על חוק בייס נקרא: An Essay towards solving a Problem in the Doctrine of Chances. הוא פורסם שנתיים אחרי מותו על בסיס מה שבייס כתב ולא פרסם.^[3] המקרה הספציפי הנדון במאמר זה, הוא מקרה המתייחס להתפלגות בטא ולנתונים המתפלגים בהתפלגות בינומית.

המתמטיקאי הצרפתי פייר-סימון לפלס (1827-1749) היה הראשון שהציג גרסה כוללנית של הגישה הבייסיאנית. לפלס התייחס לנושא בהקשר של היסקים סטטיסטיים בתחום הפיזיקה, הנוגעת למכניקה ולאסטרונומיה וגם לתחומים אחרים, כגון: רפואה, משפטים ומהימנות.

היסקים מבוססי הסתברות בייסיאנית בתקופתו של לפלס התבססו על הסתברויות פריוריות קבועות, בהתאם לעיקרון האדישות של לפלס. על פי העיקרון, אין מספיק מידע על מנת לייחס הסתברויות פריוריות שונות לאפשרויות שונות ולכן אם יש n אפשרויות, ההסתברות הפריורית של כל אחת מהן היא: ${1 \over n}$ . העיקרון של לפלס כונה: "הסתברות הפוכה", משום שהוא מסיק מסקנות בכיוון ההפוך, כלומר: מערכי תצפיות לערכי פרמטרים או ממסובב לסיבה.

אחרי שנת 1920 השלימו את "ההסתברות ההפוכה" אוסף שיטות שנקראו: היסקים שכיחותיים (באנגלית: Frequentist inference).

הרעיונות של לפלס התפתחו במאה ה-20 לשני זרמים בייסיאנים שונים: סובייקטיבי ואובייקטיבי. תפקיד חשוב במיוחד מילא הרולד ג'פרי. ג'פרי פרסם בשנת 1939 את ספרו Theory of Probability. ספר זה מילא תפקיד חשוב בחזרה להסתברות בייסיאנית כתפיסה מרכזית בסטטיסטיקה. בעקבות העבודה של הרולד ג'פרי, פורסמו עבודות חשובות נוספות של אברהם ולד ב-1950 ושל לאונרד סאוואג' בשנת 1954.

המונח בייסיאני נוצר בשנת 1950. השימוש במונחים בייסיאניזם ונאו-בייסיאניזם, שנגזרו ממנו נעשה לראשונה בשנת 1960.^[4]

בשנות ה-80 של המאה ה-20 התרחבו המחקר של ההסתברות הבייסיאנית והשימוש בהסתברות הבייסיאנית באופן דרמטי. הגידול מיוחס לגילוי של שיטת אלגוריתמים הקרויה Markov chain Monte Carlo או בראשי תיבות MCMC. אלגוריתמים של MCMC מבוססים על שילוב של רעיונות של שרשרת מרקוב ושל שיטת מונטה קרלו. שיטות מבוסות MCMC חסכו חישובים מורכבים ומסובכים והגדילו את העניין ביישומים מורכבים ולא סטנדרטיים.

למרות הפופולריות הגדולה של מחקר של הסתברות בייסיאנית, עדיין לומדים לרוב את השיטות ההסתברויות הקלאסיות. למרות זאת, נעשה שימוש נרחב בשיטות בייסיאניות בתחומים כמו למידה חישובית.^[5]

הסתברות אובייקטיבית והסתברות סובייקטיבית

קיימות שתי גישות של הסתברות בייסיאנית: הסתברות אובייקטיבית והסתברות סובייקטיבית. ההבדל בין שתי הגישות מתייחס להסתברות הפריורית.

הסתברות אובייקטיבית

בגישה האובייקטיבית, ההסתברות הפריורית היא אובייקטיבית, כלומר: האמונה שזו ההסתברות הפריורית היא סבירה בהנחה שלאדם או אפילו לתוכנת מחשב יש את אותו מידע. ההסתברות הפריורית במקרה זה מבוססת על שיקולים רציונליים. עקרונות הכימות של הסתברות פריורית אובייקטיבית מבוססים על דרישות לרציונליות ועקביות הבאות לידי ביטוי במשפט קוקס.^[6]

הסתברות סובייקטיבית

בגישה הסובייקטיבית מבוסס החישוב על שיקולים סובייקטיביים. לאנשים שלהם אותו מידע עשויות להיות הערכות סבירות שונות של ההסתברות הפריורית. חוקרי תורת המשחקים עסקו באופן בו ניתן לייחס הסתברות פריורית סובייקטיבית. הם ניסו למצוא גישה רציונלית בקבלת החלטות. הם הסתמכו על משפט פון נוימן-מורגנשטרן, המסביר את יחס ההעדפות בעזרת פונקציית תועלת ליניארית. בגישה זו נבנתה התפלגות הסתברויות של סוכן רציונלי.

יוהאן פאנזגל (בגרמנית: Johann Pfanzagl) הוסיף לתאוריה של ג'ון פון נוימן ושל אוסקר מורגנשטרן את האלמנט של ייחוס הסתברויות פריוריות סובייקטיביות שונות לסוכנים שונים.^[7] מורגנשטרן עצמו מייחס לפאנזגל את השלמת החסר בנושא זה בתאוריה של פון נוימן ושלו.^[8]

פרנק רמזי ולאונרד סאוואג' הראו שניתן ללמוד על ההסתברות הסובייקטיבית האישית של סוכנים באמצעות ניסויים. ההבדלים בהסתברויות הסובייקטיביות הניתנות לאירועים על ידי סוכנים שונים, עשויות לבטא הבדל בהערכות הנובע ממניעים פסיכולוגיים אבל גם משימוש בתהליכים שונים וכפי שהראה צ'ארלס פירס בעיקר משימוש בשיטות סטיסטיות שונות.^[9] הביטוי המעשי של הטענה שלהם הוא מבחן רמזי, שבו עסקו פסיכולוגים מחקריים במשך יותר מחמישים שנה. מבחן רמזי הראה שטיעונים של הסתברות בייסיאנית ניתנים להפרכה ולכן עומדים בקריטריון המדעי שהציב צ'ארלס פרס. היכולת להפריך תאוריה כמבחן להיותה תאוריה מדעית הוא נושא שקרל פופר עסק בו בהרחבה בהקשר של פילוסופיה של המדע.

הצדקות לשימוש בהסתברות בייסיאנית

השימוש בהסתברות בייסיאנית כבסיס להיסקים סטטיסטיים נתמך על ידי נימוקים שונים: האקסיומות של משפט קוקס, הספר ההולנדי (באנגלית: Dutch book) ותאוריית קבלת החלטות.

גישה אקסיומטית על פי משפט קוקס

ערך מורחב – משפט קוקס

ריצ'רד טרקלד קוקס הראה באמצעות אקסיומות, משוואות והנחות את הכללים שבאמצעותם מעדכנים הסתברות פריורית בגישה בייסיאנית. חלק מההנחות שהוא הציג שנויות במחלוקת. חלק מהמשוואות עודכנו באופן עקבי יותר מבחינה מתמטית.

גישת ההימור ההולנדי

ערך מורחב – הימור הולנדי

גישת ההימור ההולנדי מתייחסת להימורים. על פי המשפט של ברונו דה-פינטי, מהמר נבון שמאמץ את הגישה יזכה תמיד, אם ורק אם מארגן ההימורים לא ישתמש בחישובים המבוססים על הסתברות בייסיאנית. גישת ההימור ההולנדי מורכבת מאוסף הימורים, שללא קשר לתוצאה יובילו לרווח, בהינתן התנאי שמארגן ההימורים לא אימץ את הגישה הבייסיאנית.

קיימת מחלוקת ביחס לטענתו של דה-פינטי. יש הטוענים שניתן לנצח בהימורים נגד גישת ההימור ההולנדי גם באמצעות חישובים שאינם בייסיאנים. איאן האקינג טוען, שההנמקות המסורתיות של גישת ההימור ההולנדי, אינן מגדירות את אופן עדכון ההסתברויות על בסיס מידע נוסף שנצבר.^[10]

גישת קבלת החלטות

אברהם ולד הצדיק את ההיסק הבייסיאני, וכתוצאה מכך גם את ההסתברות הבייסיאנית, באמצעות תאוריה של קבלת החלטות. ולד הוכיח שכל תהליך סטטיסטי קביל הוא תהליך בייסיאני או מקרה קיצון של תהליך בייסיאני. הוא הסיק מכך שכל תהליך בייסיאני הוא קביל.

ראו גם

לקריאה נוספת

Sharon Bertsch Mcgrayne,The Theory that would not die - How bayes rule cracked the enigma code, hunted down russian submarines, and emerged triumphant from two centuries of controversy, Google Books, Yale University Press new haven and London

קישורים חיצוניים

הסתברות בייסיאנית, באתר אנציקלופדיה למתמטיקה (באנגלית)
JOHN ALLEN PAULOS, The Mathematics of Changing Your Mind, New York Times,August 5,2011

הערות שוליים

↑ JOHN ALLEN PAULOS, The Mathematics of Changing Your Mind, New York Times, August 5, 2011
↑ Maurice J. Dupr´e , and Frank J. Tipler†, New Axioms for Rigorous Bayesian Probability, Bayesian Analysis (2009),4, Number 3, pp. 599–606
↑ ,Sharon Bertsch Mcgrayne, The Theory that would not die - How bayes rule cracked the enigma code, hunted down russian submarines, and emerged triumphant from two centuries of controversy, Google Books, Yale University Press New Haven and London p. 10
↑ "The works of Wald, Statistical Decision Functions (1950) and Savage, The Foundation of Statistics (1954) are commonly regarded starting points for current Bayesian approaches"; "Recent developments of the so-called Bayesian approach to statistics" Marshall Dees Harris, Legal-economic research, University of Iowa. Agricultural Law Center (1959), p. 125 (fn. 52); p. 126. "This revolution, which may or may not succeed, is neo-Bayesianism. Jeffreys tried to introduce this approach, but did not succeed at the time in giving it general appeal." Annals of the Computation Laboratory of Harvard University 31 (1962), p. 180. "It is curious that even in its activities unrelated to ethics, humanity searches for a religion. At the present time, the religion being 'pushed' the hardest is Bayesianism." Oscar Kempthorne, 'The Classical Problem of Inference—Goodness of Fit', Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability (1967), p. 235.
↑ Bishop, C.M. Pattern Recognition and Machine Learning. Springer, 2007
↑ Wald, Abraham. Statistical Decision Functions. Wiley 1950.
↑ Pfanzagl, J (1967). "Subjective Probability Derived from the Morgenstern-von Neumann Utility Theory". In Martin Shubik
↑ Morgenstern, Oskar (1978). "Some Reflections on Utility". In Andrew Schotter. Selected Economic Writings of Oskar Morgenstern. New York University Press. pp. 65–70. ISBN 978-0-8147-7771-8.
↑ Stigler, Stephen M. (1978). "Mathematical statistics in the early States". Annals of Statistics 6 (March): 239–265 esp. p. 248.doi:10.1214/aos/1176344123. JSTOR 2958876. MR 483118.
↑ Ian Hacking, Slightly More Realistic Personal Probability, Chicago Journal, Philosophy of Science Vol. 34, No. 4 (Dec., 1967), pp. 311-325

[1] JOHN ALLEN PAULOS, The Mathematics of Changing Your Mind, New York Times, August 5, 2011

[2] Maurice J. Dupr´e , and Frank J. Tipler†, New Axioms for Rigorous Bayesian Probability, Bayesian Analysis (2009),4, Number 3, pp. 599–606

[3] ,Sharon Bertsch Mcgrayne, The Theory that would not die - How bayes rule cracked the enigma code, hunted down russian submarines, and emerged triumphant from two centuries of controversy, Google Books, Yale University Press New Haven and London p. 10

[4] "The works of Wald, Statistical Decision Functions (1950) and Savage, The Foundation of Statistics (1954) are commonly regarded starting points for current Bayesian approaches"; "Recent developments of the so-called Bayesian approach to statistics" Marshall Dees Harris, Legal-economic research, University of Iowa. Agricultural Law Center (1959), p. 125 (fn. 52); p. 126. "This revolution, which may or may not succeed, is neo-Bayesianism. Jeffreys tried to introduce this approach, but did not succeed at the time in giving it general appeal." Annals of the Computation Laboratory of Harvard University 31 (1962), p. 180. "It is curious that even in its activities unrelated to ethics, humanity searches for a religion. At the present time, the religion being 'pushed' the hardest is Bayesianism." Oscar Kempthorne, 'The Classical Problem of Inference—Goodness of Fit', Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability (1967), p. 235.

[5] Bishop, C.M. Pattern Recognition and Machine Learning. Springer, 2007

[6] Wald, Abraham. Statistical Decision Functions. Wiley 1950.

[7] Pfanzagl, J (1967). "Subjective Probability Derived from the Morgenstern-von Neumann Utility Theory". In Martin Shubik

[8] Morgenstern, Oskar (1978). "Some Reflections on Utility". In Andrew Schotter. Selected Economic Writings of Oskar Morgenstern. New York University Press. pp. 65–70. ISBN 978-0-8147-7771-8.

[9] Stigler, Stephen M. (1978). "Mathematical statistics in the early States". Annals of Statistics 6 (March): 239–265 esp. p. 248.doi:10.1214/aos/1176344123. JSTOR 2958876. MR 483118.

[10] Ian Hacking, Slightly More Realistic Personal Probability, Chicago Journal, Philosophy of Science Vol. 34, No. 4 (Dec., 1967), pp. 311-325

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]