Bootstrap (סטטיסטיקה)

Bootstrap או בוטסטראפ היא טכניקה בסטטיסטיקה ובלמידת מכונה אשר כוללת דגימה מחדש של נתונים. הטכניקה מבוססת על משיכת דגימות מהנתונים המקוריים שוב ושוב, תוך החזרתם למאגר הנתונים לאחר כל דגימה, כלומר, דגימה "עם החזרה". המשמעות היא שנקודת נתונים מסוימת עשויה להיכלל במערך הנתונים שנדגם מחדש מספר פעמים.

בדרך כלל הנתונים אשר בידנו הם רק מדגם קטן מתוך האמת המלאה. ולכן בוטסטראפ מבוסס באופן רופף על חוק המספרים הגדולים האומר כי עם מספיק נתונים, התפלגות האמפירית תהיה הערכה טובה להתפלגות האמיתית.

באמצעות בוטסטראפ אנו יכולים ליצור התפלגות של הערכות, במקום הערכה בודדת אחת. ההתפלגות הזו מספקת לנו מידע על מידת הוודאות או חוסר הוודאות של ההערכות שלנו. במקום להסתמך על מדגם יחיד וזה מאפשר לנו להעריך את התכונות של מדגם גדול יותר ולהפיק מסקנות אמינות יותר על האוכלוסייה הכללית.

זהו כלי עזר חשוב במיוחד בתחומים של סטטיסטיקה ולמידת מכונה, בהם אנו מתמודדים עם נתונים מוגבלים ומנסים להפיק מהם תובנות מדויקות ככל האפשר. הוא מאפשר לנו לחשב רווחי ביטחון להערכות שלנו, לבדוק מודלים סטטיסטיים ולבצע אנליזות רגישות בצורה גמישה ובלתי תלויה בהנחות מסוימות לגבי התפלגות הנתונים.

מתודולוגיה

המתודולוגיה כוללת מספר שלבים פשוטים אך חשובים להפקת הערכות מדויקות ומידע על אי-ודאות מהמדגם הנתון. הנה תיאור מפורט של התהליך הבסיסי:

1. דגימה מחדש עם החזרה (Resampling with Replacement):
   • שלב זה כולל יצירת מדגם מתוך המדגם המקורי על ידי דגימה מחדש עם החזרה. בכל דגימה, אנו בוחרים באופן אקראי נקודת נתונים מתוך המדגם המקורי ומחזירים אותה חזרה למדגם. תהליך זה חוזר על עצמו עד שיש לנו מדגם חדש בגודל זהה למדגם המקורי.
   • לדוגמה, אם המדגם המקורי כולל $N$ נקודות נתונים, אזי כל מדגם $K$ יכלול גם הוא $N$ נקודות נתונים, כאשר חלק מהנקודות עשויות להופיע יותר מפעם אחת ואחרות עשויות לא להופיע כלל.
2. חזרה על הדגימה מספר פעמים (Repeated Resampling):
   • על מנת לקבל הערכות מדויקות ואמינות, יש לחזור על תהליך הדגימה מחדש מספר רב של פעמים. כל חזרה כזו יוצרת מדגם בוטסטראפ חדש.
   • לדוגמה, אם אנו מחליטים לבצע 1,000 חזרות, יהיו לנו 1,000 מדגמים שונים.
3. חישוב מדד העניין על כל מדגם (Estimation on Each Bootstrap Sample):
   • עבור כל מדגם בוטסטראפ, אנו מחשבים את המדד הסטטיסטי בו אנו מעוניינים, כגון ממוצע, חציון, סטיית תקן או כל מדד אחר.
   • שלב זה יוצר התפלגות של המדד הסטטיסטי על פני כל המדגמים שנוצרו.
4. הפקת הערכות ורווחי ביטחון (Inference from the Bootstrap Distribution):
   • על סמך ההתפלגות של המדד הסטטיסטי מכל המדגמים, ניתן להפיק הערכות שונות. למשל, ניתן לחשב את הממוצע והחציון של המדדים הסטטיסטיים על פני כל המדגמים.
   • כמו כן, ניתן להעריך רווחי ביטחון על ידי חישוב אחוזונים מההתפלגות. לדוגמה, רווח הביטחון של 95% ניתן על ידי חישוב האחוזונים ה-2.5 וה-97.5 של ההתפלגות.

דוגמה מתמטית: נניח שיש לנו מדגם מקורי הכולל 5 נקודות נתונים: ${x_{1},x_{2},x_{3},x_{4},x_{5}}$. תהליך ה-Bootstrap כולל את הצעדים הבאים:

1. יצירת מדגם Bootstrap על ידי דגימה עם החזרה, לדוגמה: ${x_{1},x_{1},x_{2},x_{3},x_{4}}$.
2. חזרה על הדגימה מחדש 1,000 פעמים ליצירת 1,000 מדגמים שונים.
3. חישוב ממוצע עבור כל אחד מ-1,000 המדגמים.
4. הפקת התפלגות הממוצעים וניתוח ההתפלגות לצורך הפקת רווחי ביטחון והערכות נוספות.

היסטוריה

הטכניקה של בוטסטראפ פותחה בשנות ה-70 על ידי הסטטיסטיקאי ברדלי אפרון. בשנת 1979 אפרון פרסם מאמר פורץ דרך שהציג את השיטה והראה כיצד ניתן להשתמש בה כדי להעריך את האי-ודאות של מדגמים סטטיסטיים באופן יעיל.

לפני הפיתוח של בוטסטראפ סטטיסטיקאים השתמשו בשיטות כמו Jackknife resampling להערכת טעויות במדגמים. אף על פי שהשיטה של Jackknife הייתה שימושית, היא הייתה מוגבלת במצבים מסוימים ולא יכלה לספק הערכות אמינות בכל המצבים.

ההצגה של בוטסטראפ שינתה את הדרך שבה סטטיסטיקאים ומדעני נתונים ניגשו לבעיות של דגימה ואמידה של אי-ודאות. בזכות הפשטות והגמישות של השיטה, בוטסטראפ זכתה לפופולריות רבה והפכה לכלי מרכזי בארגז הכלים של סטטיסטיקאים ומדעני נתונים.

מאז פיתוחה, השיטה של בוטסטראפ הותאמה ושופרה במגוון דרכים. כיום קיימות וריאציות רבות של השיטה, כולל בוטסטראפ פרמטרי ולא פרמטרי, ובוטסטראפ לשיפור ביצועים של מודלים מורכבים. התקדמות הטכנולוגיה והעלייה בכוח המחשוב הזמין אפשרו את היישום הנרחב של השיטה על מערכי נתונים גדולים ומורכבים, מה שהוביל לשיפור משמעותי ביכולת לבצע אנליזות סטטיסטיות מדויקות ואמינות.

יתרונות

1. פשטות וגמישות: שיטת הבוטסטראפ היא פשוטה להבנה וליישום, ואינה דורשת הנחות חזקות על התפלגות הנתונים. זה הופך אותה לגמישה במיוחד ומתאימה לשימוש במגוון רחב של בעיות סטטיסטיות.
2. הערכת אי-ודאות: הבוטסטראפ מאפשר להעריך את אי-הוודאות במדדים סטטיסטיים בצורה מדויקת יותר מאשר שיטות מסורתיות אחרות, כגון Jackknife. זה מאפשר לחשב רווחי ביטחון בצורה אמינה יותר.
3. התאמה למודלים מורכבים: בניגוד לשיטות אחרות, הבוטסטראפ מתאים היטב להערכת טעויות במודלים סטטיסטיים מורכבים ובמצבים בהם אין פתרונות אנליטיים פשוטים.
4. שימוש חוזר בנתונים: השיטה עושה שימוש חוזר בנתונים הקיימים, דבר שחוסך במשאבים ונמנע מהצורך באיסוף נתונים נוספים.

חסרונות

1. כוח מחשוב גבוה: השימוש בבוטסטראפ כרוך בדגימה חוזרת ונשנית של נתונים, דבר שמצריך כוח מחשוב רב במיוחד כאשר מדובר במערכי נתונים גדולים או במודלים מורכבים.
2. הנחות על המדגם המקורי: השיטה מניחה שהמדגם המקורי הוא ייצוג אמין של האוכלוסייה הכללית. אם המדגם המקורי אינו מייצג כהלכה, ההערכות שמתקבלות עשויות להיות מוטות.
3. רגישות לערכי קיצון: כמו שיטות דגימה אחרות, גם הבוטסטראפ יכול להיות רגיש לערכי קיצון (outliers) במדגם המקורי, מה שעלול להשפיע על תוצאות ההערכה.