מדדי הערכה למסווג דו-ערכי

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

בסטטיסטיקה ובמדעים, מדדי הערכה למסווג דו-ערכי (או: בינארי) מודדים את איכותו של מסווג, אם ידוע הסיווג הנכון.

מסווג דו-ערכי הוא אלגוריתם הממיין את הפריטים באוכלוסיית המדגם לאחת משתי קבוצות, בשאיפה להיות דומה עד כמה שניתן לסיווג הנכון שלהם. במקרים רבים, מסווג דו-ערכי נוצר כדי להבחין בין פריטים שיש להם תכונה מסוימת (או קבוצת תכונות) לבין פריטים שחסרים אותה, במטרה להעריך האם תופעה כזו או אחרת התרחשה. במובן זה, המסווג הוא מבחן.

נאמר שפריט הוא "חיובי" אם הוא עבר את המבחן, ו"שלילי" אם לא. למשל, בדיקה הסופרת את מספר תאי הדם הלבנים בדגימת דם, ומנסה לחזות (לפי כמות תאי הדם הלבנים) האם הנבדק חולה או בריא היא דוגמה למסווג דו-ערכי.

מסווגים דו-ערכיים נפוצים בתחומים רבים של המדע, ובהם: בדיקת השערות, אפידמיולוגיה, אחזור מידע, בקרת איכות, ועוד. בשל השוני הגדול בצרכים של כל אחד מהתחומים, נפוצים בהם מדדים שונים. כך, למשל, ברפואה נפוצים מדדי רגישות וסגוליות, ואילו בלמידה חישובית, המדדים הנפוצים הם דיוק וכיסוי.

מטריצת הטעות[עריכת קוד מקור | עריכה]

מטריצת טעות
Binary-classification-file.svg
תיאור גרפי של מטריצת הטעות: הקו החוצה מפריד בין הפריטים החיוביים (משמאל) לבין הפריטים השליליים (מימין). האליפסה מתארת את המסווג: הפריטים בתוך האליפסה סומנו על ידי המסווג כחיוביים, ומחוץ לה – כשליליים.
קיום התופעה על פי מדד הזהב
קיימת לא קיימת
סיווג חיובי חיובי אמיתי חיובי כוזב
(שגיאה מסוג I)
שלילי שלילי כוזב
(שגיאה מסוג II)
שלילי אמיתי
מדדים שבריים פשוטים
רגישות מספר החיוביים האמיתייםמספר החיוביים
שיעור שליליים כוזבים מספר השליליים הכוזביםמספר החיוביים
סגוליות מספר השליליים האמיתייםמספר השליליים
שיעור חיוביים כוזבים מספר החיוביים הכוזביםמספר השליליים
ערך ניבוי חיובי מספר החיוביים האמיתייםמספר המסווגים חיובית
ערך ניבוי שלילי מספר השליליים האמיתייםמספר המסווגים שלילית

כדי להעריך את ביצועי המסווג, נדרש "מדד זהב" לתופעה הנמדדת, כלומר: מסווג שהוא מהימן לחלוטין (או קרוב לכך) למדידת קיום התופעה. מדד הזהב לא משמש בפועל כמסווג, משיקולים שונים: לעתים לא ניתן להשתמש בו על מספר פריטים רב, משיקולי עלות או סיכון; פעמים אחרות, ניתן לסווג את הפריטים רק בשלב מאוחר מדי (למשל: המחלה תתפרץ בשלב מאוחר יותר, ומחפשים מסווג שיזהה אותה לפני שתתפרץ).

ניתן, עם זאת, להשוות בין הסיווג שביצע מדד הזהב על מספר מוגבל של פריטים לבין ביצועי המסווג. המסווג בדרך כלל אינו מושלם; הוא עלול לסווג פריט כחיובי כאשר הוא באמת שלילי, או להיפך. שגיאות כאלו נקראות שגיאות מסוג I ו-II, או "חיובי כוזב" ו"שלילי כוזב", בהתאמה.

הצגה חזותית לשגיאות אלו מתבצעת בעזרת מטריצת טעות (ראו מסגרת).

אם נוספות בשולי הטבלה גם ההתפלגויות השוליות לכל אחד מהמסווגים, נהוג לקרוא למטריצה טבלת תלות, או טבלת שכיחות דו-ממדית.

דוגמה מספרית[עריכת קוד מקור | עריכה]

טבלת התלות הבאה מתארת נתונים ממחקר מסוים לגבי יעילות בדיקת דם סמוי בצואה בזיהוי סרטן המעי הגס. במקרה זה, ניתן לבצע גם אנדוסקופיה, אלא שזהו תהליך חודרני, ולכן מועדפת האפשרות לבדיקת צואה.

מחלה בסרטן המעי הגס
(לפי בדיקת אנדוסקופיה)
חולה בריא סך הכול
תוצאת
בדיקת
דם
סמוי
בצואה
תוצאה
חיובית
20 180 200
תוצאה
שלילית
10 1820 1830
סך הכול 30 2000 2030

אם נחלק את כל אחד מהתאים בגודל המדגם (2030), נקבל אומדן לשיעור של כל אחת מהאפשרויות באוכלוסייה כולה.

מדדים שבריים פשוטים[עריכת קוד מקור | עריכה]

בעזרת חישוב החלקים היחסיים של המשבצות השונות במטריצת הטעות, ניתן לקבל אומדן להסתברות המותנית של הסיווגים השונים באוכלוסייה כולה. ניתן לחלק כל אחת מהשכיחויות בכלל הסיווגים התואמים (סכום השורה) או בכלל המצבים התואמים (סכום הטור) – ולבחירה זו יש השפעה גדולה על היכולת להסיק מסקנות מהאומדן, בפרט כאשר יש הבדל גדול בין התפוצה של אחת משתי הקבוצות.

רגישות ושיעור שליליים כוזבים[עריכת קוד מקור | עריכה]

רגישות
Postscript-viewer-shaded.png ערך מורחב – רגישות (מדד)

רגישות (נקראת לעתים גם שיעור חיובים אמיתיים, שיעור הפגיעה, כיסוי או רמת סמך, מסומנת בקיצור: TPR, ראשי תיבות של המילים True Positive Rate) היא שיעור הסיווגים לקבוצה "חיובי" מתוך כלל הפריטים החיוביים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כחיובי, בהינתן שמדד הזהב קבע שהפריט הוא חיובי:

רגישות = חיוביים אמיתייםפריטים חיובים = חיוביים אמיתייםחיוביים אמיתיים + שליליים כוזבים


במילים אחרות, הוא משקף את מידת ההצלחה לנבא נכונה שפריט הוא חיובי.

שיעור שליליים כוזבים

שיעור שליליים כוזבים (או: שיעור ההחטאה; מסומן בקיצור: FNR, ראשי תיבות של המילים False Negative Rate) הוא שיעור הסיווגים לקבוצה "שלילי" מתוך כלל הפריטים החיוביים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כשלילי, בהינתן שמדד הזהב קבע שהפריט הוא חיובי:

שיעור שליליים כוזבים = שליליים כוזביםפריטים חיובים = שליליים כוזביםחיוביים אמיתיים + שליליים כוזבים


הקשר בין שני המדדים,

רגישות = שיעור שליליים כוזבים - 1


נובע מהעובדה שהם אומדים הסתברויות מותנות משלימות זו לזו.

סגוליות ושיעור חיוביים כוזבים[עריכת קוד מקור | עריכה]

סגוליות
Postscript-viewer-shaded.png ערך מורחב – סגוליות

סגוליות (נקראת לעתים גם שיעור שליליים אמיתיים או שיעור דחיות נכונות; מסומנת בקיצור: SPC, קיצור של המונח האנגלי Specificity) היא שיעור הסיווגים לקבוצה "שלילי" מתוך כלל הפריטים השליליים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כשלילי, בהינתן שמדד הזהב קבע שהפריט הוא שלילי:

סגוליות = שליליים אמיתייםפריטים שליליים = שליליים אמיתייםשליליים אמיתיים + חיוביים כוזבים


במילים אחרות, הוא משקף את מידת ההצלחה לנבא נכונה שפריט הוא שלילי.

שיעור חיוביים כוזבים

שיעור חיוביים כוזבים (נקרא לעתים גם: נפולת, רמת מובהקות או שיעור אזעקות השווא; מסומן בקיצור: FPR, ראשי תיבות של המילים False Positive Rate) הוא שיעור הסיווגים לקבוצה "חיובי" מתוך כלל הפריטים השליליים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כחיובי, בהינתן שמדד הזהב קבע שהפריט הוא שלילי:

שיעור חיוביים כוזבים = חיוביים כוזביםפריטים שליליים = חיוביים כוזביםשליליים אמיתיים + חיוביים כוזבים


הקשר בין שני המדדים,

סגוליות = שיעור חיוביים כוזבים - 1


נובע מהעובדה שהם אומדים הסתברויות מותנות משלימות זו לזו

ערכי ניבוי[עריכת קוד מקור | עריכה]

ערך ניבוי חיובי
Postscript-viewer-shaded.png ערכים מורחבים – ערך ניבוי חיובי, ערך ניבוי שלילי

ערך ניבוי חיובי (נקרא לעתים גם דיוק; מסומן בקיצור PPV, ראשי תיבות של המילים Positive Predictive Value) הוא שיעור הפריטים החיוביים לפי מדד הזהב מתוך כלל הפריטים שסווגו לקבוצה "חיובי". כאומדן, הוא משקף את ההסתברות המותנית שהפריט חיובי, בהינתן שהוא סווג כחיובי:

PPV = חיוביים אמיתייםפריטים מסווגים חיובית = חיוביים אמיתייםחיוביים אמיתיים + חיוביים כוזבים


ערך ניבוי שלילי

ערך ניבוי שלילי (מסומן בקיצור NPV, ראשי תיבות של המילים Negative Predictive Value) הוא שיעור הפריטים השליליים לפי מדד הזהב מתוך כלל הפריטים שסווגו לקבוצה "שלילי". כאומדן, הוא משקף את ההסתברות המותנית שהפריט שלילי, בהינתן שהוא סווג כשלילי:

NPV = שליליים אמיתייםפריטים מסווגים שלילית = שליליים אמיתייםשליליים אמיתיים + שליליים כוזבים


נכונות[עריכת קוד מקור | עריכה]

נכונות
Postscript-viewer-shaded.png ערך מורחב – דיוק ונכונות

נכונות (לפעמים נקראת גם מדד ראנד) היא שיעור הסיווגים הנכונים. כאומדן היא משקפת את שיעור הסיווגים הנכונים מתוך כלל האוכלוסייה:

זיהויים נכוניםגודל האוכלוסייה = חיוביים אמיתיים + שליליים אמיתייםחיוביים אמיתיים + חיוביים כוזבים + שליליים אמיתיים + שליליים כוזבים


מדדים נגזרים[עריכת קוד מקור | עריכה]

המדדים המופיעים לעיל פשוטים לחישוב מתוך נתוני המדגם, אבל לעתים רבות, החוקרים מעוניינים בתכונות מסוימות של המדגם (כאומדן לאוכלוסייה); לפעמים, יש צורך במדד אחד שניתן להביא למקסימום או למינימום, ובכך למצוא את הסיווג הטוב ביותר, לפי דרישות המערכת. מדדים שונים פותחו לשם כך. להלן רשימה חלקית:

יחסי נראות[עריכת קוד מקור | עריכה]

Postscript-viewer-shaded.png ערך מורחב – יחס נראות

בתחום בדיקות האבחון הסיווג (כלומר, הבדיקה) מבוצע על מנת לברר את מצבו הרפואי של החולה. מעצם העובדה שיש תוצאות כוזבות (שליליות או חיוביות) מובן ששתוצאת הבדיקה לא אומרת בהכרח האם המטופל חולה או בריא. כדי להעריך האם אדם אמנם חולה או בריא, יש צורך להשתמש בחוק בייס: אם נסמן את המאורע "תוצאת בדיקה חיובית" ב-A ואת המאורע "המטופל חולה" ב-B, נוסחת בייס אומרת כי , כאשר משמעות הסימון היא ההסתברות ל- בהינתן .

דרך נוחה יחסית לשימוש בחוק בייס היא באמצעות מעבר ליחסי הסתברויות ויחסי נראות: אם יש למאורע מסוים הסתברות להתרחש, אז יחס ההסתברויות מחושב כ-. יחסי הנראות מחושבים בעזרת המדדים השבריים:

יחס נראות חיובי יחס נראות שלילי
LR+‎ = רגישותסגוליות-1 =
LR-‎ = רגישות-1סגוליות =

יחס הנראות מאפשר ללמוד כיצד תוצאת הבדיקה תשפיע על הערכת מצבו של המטופל.

מקרה לדוגמה: ההסתברות שמטופל מסוים חולה במחלה זאת או אחרת מוערכת להיות על בסיס נתונים החיצוניים לבדיקה (למשל, גיל, משקל, היסטוריה רפואית). אם התקבלה תוצאה חיובית בבדיקה, יחס הנראות (החיובי) מאפשר לחשב את יחס ההסתברויות שלו להיות חולה בהינתן תוצאת הבדיקה (), על ידי שימוש ביחס ההסתברויות שלו להיות חולה לפני הבדיקה ():

.[1].

כמו כן, מגדירים יחס יחסי הסתברויות (DOR):

שמשמש בעצמו כמדד לטיב הסיווג: ככל שיחס יחסי ההסתברויות גבוה יותר, כך המתאם בין המסווג למדד הזהב טוב יותר.

ניתן להרחיב את יחס הנראות גם לסיווגים שאינם דו-ערכיים, אם מחשבים את יחסי הנראות עבור כל אחת מקטגוריות הסיווג. במקרה זה, מחשבים את הרגישות והסגוליות לכל אחת מהקטגוריות, ומחשבים בעזרתן את השינוי בהסתברות לקטגוריה מסוינת, בהינתן שהמסווג סיווג את הפריט באותה קטגוריה.

מדד F[עריכת קוד מקור | עריכה]

במדעי המחשב, ובפרט בלמידה חישובית ובאחזור מידע, היו נפוצים למשך תקופה ארוכה שני מדדים מרכזיים: הדיוק והכיסוי. הרצון למצוא מדד אחד שיסמן את איכות הסיווג הביא לפיתוחו של מדד F. המדד מחושב מתוך הדיוק (ערך הניבוי החיובי) והכיסוי (הרגישות):

והוא הממוצע ההרמוני של שני מדדים אלו. ניתן לתת משקל שונה לכל אחד מהמדדים, ואז תתקבל נוסחה כללית יותר, המסומנת לרוב כ-Fβ:

אחד החסרונות המשמעותיים למדד זה הוא העובדה שהוא לא מודד את מספר השליליים האמיתיים. בנוסף, הוא מושפע מאד משיעור ההימצאות.

מיודעות ומסומננות[עריכת קוד מקור | עריכה]

מיודעות (informedness) מכמתת את המידה שבה הסיווג הוא מושכל (במילים אחרות: עד כמה ניתן לסמוך עליו). היא נתונה כהסתברות לסיווג מושכל, ביחס לניחוש באקראי. במקרה של מסווג דו-ערכי, היא נתונה בנוסחה:

מסומננות (markedness) מכמתת את המידה שבה המסווג מסוגל להבחין בין הקטגוריות השונות. היא נתונה כהסתברות שהקטגוריות מובחנות זו מזו, ביחס לניחוש באקראי. במקרה של מסווג דו-ערכי, היא נתונה בנוסחה:

(FOR הוא שיעור ההשמטות הכוזבות, כלומר מספר השליליים הכוזבים ביחס לכלל הסיווגים השליליים)

אחד היתרונות המשמעותיים של שני מדדים אלו שהם לא מושפעים משיעור ההימצאות, או מההטיה של המסווג (כלומר, היחס בין מספר הפריטים שהוא מסווג כחיוביים לבין מספר הפריטים הכולל).

מתאם מת'יוז[עריכת קוד מקור | עריכה]

מקדם המתאם של מת'יוז מודד את המתאם בין הסיווג למדד הזהב.

קיימות כמה דרכים שקולות לחשב אותו:

  • ניתן לחשב אותו ישירות מתוך מספר החיובים והשליליים האמיתיים והכוזבים:

בנוסף, הוא שווה (בערכו המוחלט) לסטטיסטי המכונה לעתים מקדם פי [ϕ coefficient], ששווה בתורו לכי בריבוע חלקי מספר הפריטים במדגם.

עקומת ROC[עריכת קוד מקור | עריכה]

מרחב ROC, עליו מסומנים ארבעה מסווגים שונים, וקו האקראיות.
Postscript-viewer-shaded.png ערך מורחב – עקומת ROC

עקומת ROC נותנת ייצוג גרפי לתמורה ההדדית שיש בין הקטנת מספר השליליים הכוזבים לבין הקטנת מספר החיוביים הכוזבים: אם, למשל, המסווג הופך ערך בהירות של תמונה לסיווג בין שחור ולבן, ניתן לבחור קריטריון יותר מצומצם (שיסווג מעט מאד פריטים כשחורים) או יותר מרחיב (שיסווג הרבה פריטים כשחורים). הבחירה הראשונה תצמצם את הזיהויים השגויים של פריטים כחיוביים, אבל בתמורה נקבל הרבה שליליים כוזבים; האפשרות השנייה תמצמצם זיהויים שגויים של פריטים כשליליים, אבל בתמורה נקבל הרבה חיוביים כוזבים.

האפשרויות השונות לבחירת הקריטריון מוצגות על פי שני פרמטרים מייצגים: שיעור החיוביים האמיתיים (רגישות) ושיעור החיוביים הכוזבים (שהוא גם 1 פחות הסגוליות). בדרך כלל העקומה משורטטת בין הפינה השמאלית התחתונה (, כל הפריטים מסווגים כשליליים), לבין הפינה הימנית העליונה (, כל הפריטים מסווגים כחיוביים). צורתה הכללית של העקומה תלוי במידת הקושי של הסיווג: ככל שהוא יותר קל, היא תתקרב יותר לפינה השמאלית העליונה (, "המסווג המושלם").

באופן כללי יותר, ניתן לייצג כל מסווג במרחב ROC, גם אם לא קיים פרמטר שניתן לשנות במסווג (ראו איור). מסווג הנמצא על האלכסון (הקו האדום) שקול לניחוש באקראי. למסווגים שמסומנים מעל האלכסון יש כח ניבוי חיובי. למסווגים שנמצאים מתחת לאלכסון יש אמנם כח ניבוי, אבל הוא הפוך: הם מסווגים באופן עקבי חיוביים רבים כשליליים ולהיפך. ניתן להפוך מסווג כזה למסווג יעיל בעזרת החלפה בין הקטגוריות (בין חיובי לשלילי).

באופן טבעי, נובע שהמרחק בין המיקום של מסווג על הגרף לבין הנקודה גם הוא מדד לטיב הסיווג. במילים אחרות, מסווג טוב יצמצם את המרחק . כמו כן, אם המחיר של כל אחד מסוגי הטעויות שונה, ניתן להוסיף משקלים לחשיבות היחסית של כל אחד הגורמים, והמרחק שיש לצמצם יהיה מהצורה .

יחס הנראות החיובי של מסווג הוא מדד נוסף שניתן לזהות בעקומת ROC: הוא השיפוע של העקומה בכל נקודה.

בתחומים שונים[עריכת קוד מקור | עריכה]

בדיקת השערות[עריכת קוד מקור | עריכה]

Postscript-viewer-shaded.png ערך מורחב – בדיקת השערות

בדיקת השערות הוא הליך המשתמש בנתוני מדגם כדי להחליט אם לדחות או להישאר באמונתנו לגבי השערה נתונה. הבדיקה מכריעה בין שתי השערות לגבי ההתפלגות ממנה נלקח המדגם: השערת האפס (‎H0) וההשערה האלטרנטיבית (‎H1). את ההשערה האלטרנטיבית מנסים לאשש על ידי דחיית השערת האפס. בהקשר זה, שגיאה מסוג I היא דחיה של השערת האפס בשוגג, ושגיאה מסוג II היא אי-דחייה של השערת האפס ואישוש ההשערה הנגדית ‎H1.

תורת גילוי האותות[עריכת קוד מקור | עריכה]

Postscript-viewer-shaded.png ערך מורחב – תורת גילוי האותות

תורת גילוי האותות היא תחום שעוסק בקבלת החלטות בתנאי אי-ודאות, על ידי בני אדם ועל ידי מכונות.

במודל זה, מטריצת הטעות מבוטאת במונחים שונים מעט:

גירוי או אות
קיים לא קיים
תגובה זיהוי פגיעה
(hit)
אזעקת שווא
(false alarm)
התעלמות החטאה
(miss)
דחייה נכונה
(correct rejection)

המוקד בתורה זו הוא ההבחנה בין שני סוגי גורמים לשגיאות העומדים בפני המסווג: יכולת ההבחנה בין אות לרעש (המבוטא על ידי מדד ), ומיקום הגבול בין תחומי ההחלטה (נקרא גם "קריטריון", ומסומן באות ).

ראו גם[עריכת קוד מקור | עריכה]

לקריאה נוספת[עריכת קוד מקור | עריכה]

  • R. Kohavi and F. Provost, Glossary of Terms. Machine Learning, volume 30, issue 2-3, February/March 1998.

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ יחס הנראות השלילי מבצע פעולה דומה עבור תוצאת בדיקה שלילית