שיעור התגליות השגויות

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

שיעור התגליות השגויות (FDR - False Discovery Rate) הוא שמה של שיטה סטטיסטית לבדיקת השערות מרובות, שפותחה בידי שני סטטיסטיקאים מאוניברסיטת תל אביב, הפרופסורים יואב בנימיני ויוסף הוכברג. שיטה זו הוצעה על ידי בנימיני והוכברג כבר ב-1989 אך בתחילה היא נתקלה בהתנגדות, עד שב-1995 מאמרם התקבל בכתב העת Journal of the Royal Statistical Society, ומאז הוא דורג בין 25 המאמרים המצוטטים ביותר בסטטיסטיקה.‏[1] בנימיני זכה בפרס ישראל לשנת 2012 בעיקר עקב תגליותיו בנושא זה.‏[2]

מבוא[עריכת קוד מקור | עריכה]

כמעט כל תחומי המדע המודרני מבוססים על בדיקת השערות בניסויים או בתצפיות, בהתבסס על מדגם מקרי. בתחום הסטטיסטי של בדיקת השערות פותחו כללים לקבל או לדחות השערה מדעית, באמצעות עימותה עם השערה שמרנית המכונה "השערת האפס". למשל, בבדיקה האם תרופה חדשה שפותחה מאריכה את תוחלת החיים של החולים המשתמשים בה, קיימות שיטות מקובלות לדגום חולים המשתמשים בתרופה וחולים שאינם משתמשים בתרופה, למדוד את תוחלת החיים שלהם ולהכריע בין השערת האפס H_0 "תוחלת החיים של המשתמשים בתרופה אינה ארוכה יותר" ולבין ההשערה החלופית H_1 "תוחלת החיים של המשתמשים בתרופה ארוכה יותר", אשר תוביל לפרסום תגלית מדעית שהתרופה יעילה. בשיטות טיפוסיות נוהגים לחשב מהי ההסתברות p לקבל את תוחלות החיים שנמדדו בפועל בהנחה שהשערת האפס נכונה, ולדחות השערה זו אם ורק אם p קטן מרמת מובהקות שרירותית כלשהי. רמת מובהקות מקובלת מאוד בתחומי הרפואה והביולוגיה הוא 0.05, כלומר רק אם הסיכוי p יהיה קטן מ-0.05 תידחה השערת האפס, וניתן יהיה לפרסם מאמר מדעי המדווח על תגלית - התרופה יעילה באופן "מובהק סטטיסטית". הערך 0.05 הוא שרירותי, שכן עקרונית ניתן היה להחליט כל ערך אחר, והוא מקובל במדע בזכות שמרנותו - הוא מקל בהרבה על קבלת השערת האפס מאשר על דחייתה, ולמעשה מכתיב כי תוכרז תגלית שגויה לכל היותר ב-0.05 (היינו 5%) מן המקרים בהם השערת האפס נכונה.

ואולם השיטות המסורתיות של בדיקת השערות אינן מספקות כאשר יש צורך בבדיקת השערות מרובות. למשל, נניח שבעת מחקר בגנטיקה מעוניינים לבדוק את ההשפעה של 10,000 גנים. לשם כך דוגמים פרטים מן האוכלוסייה ומודדים את ההשפעה של 10,000 גנים בכל אחד מהם, כך שיש לבדוק 10,000 השערות: לכל גן נבדקת השערת האפס שאין לו השפעה לעומת ההשערה שיש לו השפעה. רמת מובהקות של 0.05 נראית שמרנית דיה לבדיקת השערה יחידה, אך אם תאומץ לבדיקת כל אחת מ-10,000 ההשערות יש לצפות שאפילו אם אין לאף גן השפעה כלשהי, תתקבלנה בממוצע 0.05*10,000=500 תגליות שגויות של גנים שהם כביכול בעלי השפעה "מובהקת סטטיסטית". מכאן עולה הצורך במבחן סטטיסטי מתוקן להשוואות מרובות. תיקון מסורתי כזה הוא תיקון בונפרוני (על שם המתמטיקאי האיטלקי קרלו אמיליו בונפרוני) אשר דוחה את השערת האפס רק אם ההסתברות p לקבלת התוצאות קטנה מרמת המובהקות המקורית מחולקת במספר ההשערות, במקרה זה ערך מתוקן של 0.05/10,000=0.000005 בלבד. הוכח ששימוש בתיקון בונפרוני מבטיח שההסתברות לקבל ולו תגלית שגויה אחת לא תהיה גדולה מרמת המובהקות.

החסרון בתיקון בונפרוני היא העוצמה הסטטיסטית הנמוכה מאוד שלו. היינו, על מנת להבטיח שאפילו תגלית שגוייה אחת לא תעשה, תיקון בונפרוני הוא שמרן מדי, ונוטה להחמיץ תגליות מדעיות אמיתיות. בשל כך נמנעו מדענים רבים מן השימוש בו, או בכל תיקון אחר להשוואות מרובות, וחשפו את עצמם לתגליות שגויות. מצב זה החמיר במיוחד מאז סוף המאה ה-20, משום שההתקדמות הטכנולוגית מאפשרת מדידה אוטומטית של יותר ויותר משתנים בכל ניסוי ותצפית. בשנת 1995 הציעו בנימיני והוכברג להחליף את תיקון בונפרוני ב"שיעור התגליות השגויות" (FDR, ראשי תבות באנגלית של False Discovery Rate), והראו שהעוצמה הסטטיסטית שלו גדולה בהרבה. כלומר, גם במחקרים המודדים משתנים רבים מאוד בו-זמנית ניתן להבטיח "שמרנות מדעית" ועדיין לקבל תגליות אמיתיות.

הרעיון בבסיס השיטה שהתוו בנימיני והוכברג היה לבקר את היחס שבין מספר התגליות השגויות לבין סך התגליות, במקום את ההסתברות לעשות תגלית שגוייה אחת ויחידה. על פי רעיון זה ככל שמתקבלות פחות תגליות, הביטחון באמיתותן יורד, ולכן יש לדרוש שמרנות מחמירה יותר. למעשה, כאשר מספר התגליות הוא אחד בלבד, שיעור התגליות השגויות מתנהג כמו תיקון בונפרוני. לעומת זאת ככל שמתקבלות תגליות רבות יותר, הביטחון שלפחות חלק מהן נכונות עולה, ולכן ניתן לדרוש פחות שמרנות. המשפט שהוכיחו בנימיני והוכברג קובע שקיים כלל הכרעה אשר השימוש בו מסוגל להבטיח כל רמה נדרשת של שיעור תגליות שגויות.

תיאור השיטה[עריכת קוד מקור | עריכה]

בהינתן מדגם X והשערות מרובות  \begin{Bmatrix} H_0^i \\ H_1^i \end{Bmatrix}_{i=1,...,n} , נסמן ב-R את מספר התגליות, ונסמן ב-V את מספר התגליות השגויות מתוכן (שאיננו יודעים מהו). בהינתן רמת מובהקות  \alpha , סביר לדרוש מכלל ההכרעה לקיים  E\left( \frac{V}{R} \right) \leq \alpha . כלומר נרצה למצוא כלל הכרעה כזה שיבטיח לנו שאם נפעל לפיו אז תוחלת שיעור התגליות השגויות מתוך כלל התגליות לא תעלה על  \alpha .

סימון: נסמן לכל השערה j-ית את הערך-p שלה ב-P_j. נבצע אינדוקס מחודש של ערכי-p כך שיהיו בסדר עולה, כלומר נניח ללא הגבלת הכלליות שמתקיים P_j<P_{j+1} לכל  1 \leq j \leq n .
כלל ההכרעה: נגדיר  K = \max_{1 \leq i \leq n} \left\{i | P_i \leq \frac{i \alpha}{n} \right\} , ונקבע את כלל ההכרעה "לדחות כל את כל ההשערות שהערך-p המתאים להן הוא בקבוצה  P_1, P_2, ..., P_K ".

כלל הכרעה זה הוא הכלל שלגביו הוכיחו בנימיני והוכברג שהוא מקיים את הדרישה שהזכרנו. עם זאת זה לא תקף באופן מוחלט ותמיד, אלא בתנאי מסוים שנגדיר כעת.

הגדרה: אומרים שקבוצה של משתנים מקריים  X_1, X_2, ..., X_n הם PRDS ‏ (Positive Regression Dependence on each one) אם לכל פונקציה  g שהיא לא-יורדת, לכל  i \in \left\{1,...,n \right\} מתקיים כי הפונקציה  E \left[ g\left(X_1,...,X_n \right) |X_i = x \right] אינה יורדת ב-x.
ניתן להוכיח שאם משתנים מקריים כנ"ל הם PRDS, אז גם הפונקציה  E \left[ g\left(X_1,...,X_n \right) |X_i \leq x \right] אינה יורדת ב-x.
המשפט שהוכיחו בנימיני והוכברג קובע שאם הערכי-p, כלומר המשתנים המקריים  \left\{P_i \right\}_{i=1}^n , הם PRDS, אז שימוש בכלל ההכרעה הזה מבטיח את הדרישה  E\left( \frac{V}{R} \right) \leq \alpha .

הוכחה[עריכת קוד מקור | עריכה]

ההוכחה שנביא אינה זו המקורית של בנימיני והוכברג, אלא של Helmut Finner, Thorsten Dickhaus ו-Markus Roters.

נסמן  I_i = \left\{ \begin{array}{lr} 1 & H \mbox{ is rejected } \\ 0 & \mbox{ otherwise } \end{array} \right. . נשים לב שמתקיים השוויון הקבוצתי  \left\{R = r, I_i = 1 \right\} = \left\{R = r, P_i \leq \frac{i \alpha}{n} \right\} .

נניח ללא הגבלת הכלליות כי ההשערות הנכונות הן  H_0^1, H_0^2, ..., H_0^m עבור  m \leq n ונשים לב שבסימונים שלנו מתקיים  V = \sum_{i=1}^m I_i . כמו כן קל לראות כי  EI_i = P(I_i = 1) , ולכן נסיק בהתאם לתוחלת של פונקציה בשני משתנים ומהגדרת הסתברות מותנית:


E\left( \frac{V}{R} \right) = \sum_{i=1}^m \left[ \sum_{r=1}^n \left[ \frac{1}{r} \cdot P\left( R=r, P_i \leq \frac{r \alpha}{n} \right) \right] \right] =


= \sum_{i=1}^m \left[ \sum_{r=1}^n \left[ \frac{1}{r} \cdot P\left( R=r | P_i \leq \frac{r \alpha}{n} \right) \cdot P\left(P_i \leq \frac{r \alpha}{n} \right) \right] \right]

כעת נשים לב שהצבה של משתנה מקרי בפונקציית ההתפלגות שלו עצמו חסומה על ידי ההתפלגות האחידה,‏[3] ולכן  P\left(P_i \leq \frac{r \alpha}{n} \right) \leq \frac{r \alpha}{n} , ונקבל את החסם:


E\left( \frac{V}{R} \right) \leq \frac{\alpha}{n} \cdot \sum_{i=1}^m \left[ \sum_{r=1}^n P\left( R=r | P_i \leq \frac{r \alpha}{n} \right) \right]

אם נפרק את הסכום שקיבלנו לאיבר הראשון,  r = 1 , ועוד שאר האיברים, נקבל את הסכום הטלסקופי:


E\left( \frac{V}{R} \right) \leq 
\frac{\alpha}{n} \cdot \sum_{i=1}^m P \left( R \geq 1 | P_i \leq \frac{r \alpha}{n} \right) + \frac{\alpha}{n} \cdot \sum_{i=1}^m \left[ \sum_{r=2}^n \left[ P\left( R \geq r | P_i \leq \frac{r \alpha}{n} \right) - P\left( R \geq r | P_i \leq \frac{(r-1) \alpha}{n} \right) \right] \right]

כעת נשים לב שמכך שהקבוצה  \left\{P_i \right\}_{i=1}^n היא PRDS נובע כי:


P \left( R \geq r | P_i \leq \frac{r \alpha}{n} \right) - P\left( R \geq r | P_i \leq \frac{(r-1) \alpha}{n} \right) \leq 0

נשים לב עוד כי מהגדרת כלל ההכרעה נובע שעבור  P_i \leq \frac{\alpha}{m} דוחים, כלומר  R \geq 1 , ולכן  P \left( R \geq r | P_i \leq \frac{r \alpha}{n} \right) = 1 . מכאן נקבל בדיוק את החסם הנדרש במשפט:


E\left( \frac{V}{R} \right) \leq 
\frac{\alpha}{n} \cdot \sum_{i=1}^m P \left( R \geq 1 | P_i \leq \frac{r \alpha}{n} \right) \leq \frac{\alpha}{n} \cdot m \leq \alpha

ראו גם[עריכת קוד מקור | עריכה]

לקריאה נוספת[עריכת קוד מקור | עריכה]

קישורים חיצוניים[עריכת קוד מקור | עריכה]

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ Ryan, T. P.; Woodall, W. H. (2005). "The most-cited statistical papers". Journal of Applied Statistics 32 (5): 461.
  2. ^ נימוקי השופטים לזכייתו של בנימיני, אתר פרס ישראל.
  3. ^ במקרה שבו המ"מ רציף זו בדיוק ההתפלגות  U(0,1) .