כיול (סטטיסטיקה)
כיול הוא מונח בסטטיסטיקה המתייחס לשני סוגים עיקריים של בעיות הסקה סטטיסטית. כיול יכול להתייחס ל:
- תהליך הפוך לרגרסיה, שבו במקום לחזות ערך של משתנה תלוי בעתיד על סמך משתנים מסבירים ידועים, משתמשים בתצפית ידועה של המשתנה התלוי כדי לחזות את הערך המתאים של המשתנה המסביר.[1]
- שיטות בסטטיסטיקה של סיווג לחישוב הסתברויות להשתייכות למחלקות שונות, המעריכות את אי-הוודאות של שיוך תצפית חדשה לכל אחת מהמחלקות הקיימות.
בנוסף, כיול משמש בסטטיסטיקה גם במשמעותו הכללית. לדוגמה, כיול של מודל מתייחס להסקה בייסיאנית על ערכי הפרמטרים של מודל מסוים בהינתן קבוצת נתונים, או באופן כללי יותר, לכל סוג של התאמת מודל סטטיסטי. כפי שפרופסור פיליפ דאויד ניסח זאת: "חזאי (מודל) נחשב לכיול טוב אם, למשל, מתוך האירועים שלהם הוא משייך הסתברות של 30 אחוזים, בטווח הארוך 30 אחוזים מהם אכן מתרחשים".[2]
במודלים של למידת מכונה, במיוחד ברשתות נוירונים, נמצא שמודלים עם יכולת חיזוי גבוהה עלולים להיות מכויילים בצורה גרועה, כלומר, ההסתברויות שהם מספקים אינן משקפות את התדירות האמיתית של האירועים. לכן, כיול המודל הוא שלב חשוב בהבטחת אמינות התחזיות, במיוחד ביישומים קריטיים כמו רפואה או נהיגה אוטונומית.
כיול בסיווג
[עריכת קוד מקור | עריכה]בבעיות סיווג, כיול מתייחס להערכת רמת הוודאות של המודל בנוגע לשיוך תצפיות למחלקות שונות. מסווגים סטטיסטיים רבים יכולים להבחין היטב בין מחלקות, אך עדיין לספק הסתברויות לא מכויילות, כלומר, הסתברויות שהן רחוקות מההסתברויות האמיתיות של המחלקות. מטרת הכיול היא להתאים את ההסתברויות כך שישקפו את השכיחויות האמיתיות של המקרים בעולם האמיתי.
קיימות מספר שיטות לכיול מסווגים:
רגרסיה איזוטונית (Isotonic regression) – שיטה לא פרמטרית אשר מתאימה את ההסתברויות בעזרת התאמת עקומה מונוטונית לנתוני האימון.[3]
כיול פלאט – רגרסיה לוגיסטית המשמשת לתיקון ההסתברויות שמסווגים מחזירים.
כיול דיריכלט – שיטה המרחיבה את כיול פלאט למקרים רב-מחלקתיים על ידי שימוש בהתפלגות דיריכלט.
חלוקה לבינים בייסיאנית (BBQ) – שיטה שמחלקת את תחום ההסתברויות לבינים ומתקנת כל ביניה בנפרד על פי שיקולים בייסיאניים.[4]
כיול בטא – הרחבה של כיול פלאט המשתמשת בהתפלגות בטא במקום בהתפלגות לוגיסטית.[5]
הערכת הכיול נעשית באמצעות מדדים שונים, כגון שגיאת הכיול הצפויה (ECE), שגיאת הכיול האדפטיבית (ACE), ו-מדד הכיול המשוער (ECI), אשר מספקים תובנות על איכות הכיול של המודל. מדדים אלו מסייעים בזיהוי נטיות של המודל להערכת יתר או חסר של ההסתברויות.
כיול בניבוי ותחזיות
[עריכת קוד מקור | עריכה]בחיזוי מדד בריאר (Brier score) משמש לעיתים להערכת דיוק התחזיות, תוך בדיקת עד כמה ההסתברויות המשויכות משקפות את תדירות התרחשותן בפועל. פיליפ אי. טטלוק השתמש במונח "כיול" בהקשר זה בספרו "Superforecasting" משנת 2015. מונח זה שונה ממושגים כמו דיוק ורמת הבחנה. לדוגמה, כפי שציין דניאל כהנמן, "אם לכל האירועים שהתרחשו שויכה הסתברות של 0.6 ולכל האירועים שלא התרחשו שויכה הסתברות של 0.4, הכיול שלכם מושלם אך ההבחנה שלכם גרועה". במטאורולוגיה, בפרט בנוגע לחיזוי מזג אוויר, קיימת שיטת הערכה קשורה הנקראת "כושר התחזית" (forecast skill).
דוגמה
[עריכת קוד מקור | עריכה]אחת הדוגמאות לכיול היא תיארוך חפצים תוך שימוש בעדויות ניתנות לצפייה, כגון טבעות עצים בדנדרוכרונולוגיה או פחמן-14 בתיארוך רדיומטרי. במקרה זה, התצפיות נגרמות על ידי גיל החפץ המתוארך, ולא להפך, והמטרה היא להשתמש בשיטה להערכת גילאים על בסיס תצפיות חדשות. הבעיה היא האם יש לבנות את המודל כך שימזער את השגיאה בתצפית או את השגיאה בגיל. שתי הגישות יניבו תוצאות שונות, והפער ביניהן יגדל ככל שהמודל ישמש לאקסטרפולציה מעבר לטווח הנתונים הידועים.
הערות שוליים
[עריכת קוד מקור | עריכה]- ^ Cook, Ian; Upton, Graham (2006). Oxford Dictionary of Statistics. Oxford: Oxford University Press. ISBN 978-0-19-954145-4.
- ^ Dawid, A. P (1982). "The Well-Calibrated Bayesian". Journal of the American Statistical Association. 77 (379): 605–610. doi:10.1080/01621459.1982.10477856.
- ^ B. Zadrozny and C. Elkan, Transforming classifier scores into accurate multiclass probability estimates. In: Proceedings of the Eighth International Conference on Knowledge Discovery and Data Mining, 694–699, Edmonton, ACM Press, 2002.
- ^ Naeini MP, Cooper GF, Hauskrecht M. Obtaining Well Calibrated Probabilities Using Bayesian Binning. Proceedings of the . AAAI Conference on Artificial Intelligence AAAI Conference on Artificial Intelligence. 2015;2015:2901-2907.
- ^ Meelis Kull, Telmo Silva Filho, Peter Flach; Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, PMLR 54:623-631, 2017.