רגרסיה מקומית

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה לניווט קפיצה לחיפוש
Gnome-edit-clear.svg
ערך זה זקוק לעריכה: הסיבה לכך היא: ויקיזציה ותיקון תרגמת.
אתם מוזמנים לסייע ולתקן את הבעיות, אך אנא אל תורידו את ההודעה כל עוד לא תוקן הדף. אם אתם סבורים כי אין בדף בעיה, ניתן לציין זאת בדף השיחה.
שימוש ב-LOESS על אוכלוסיית נקודות שנדגמו מפונקציית גל של סינוס בתוספת רעש עם התפלגות אחידה.

רגרסיה מקומית - LOESS ו-LOWESS (קיצור של Locally weighted scatterplot smoothing; החלקת נקודת פיזור מקומית) הן שתי שיטות נפוצות ללא פרמטרים המשלבות מספר רב של מודלי רגרסיה ומבוססות על מודל שכן קרוב. שיטת " LOESS" היא הכללה מאוחרת של שיטת "LOWESS" ; אף על פי שאלו אינן ראשי-תיבות במובן הרגיל, ניתן לפרש אותן כ"רגרסיה מקומית".[1]

"LOESS" ו- "LOWESS" נבנו על שיטות "קלאסיות" כגון רגרסיית הריבועים הפחותים, ליניארית ולא ליניארית. הן מטפלות במצבים שבהם השיטות הקלאסיות אינן מתפקדות היטב או שלא ניתן ליישמן ביעילות. "LOESS" משלב הרבה מן הפשטות של רגרסיית הריבועים הפחותים הליניארית יחד עם הגמישות של הרגרסיה הלא ליניארית. היא עושה זאת על ידי התאמה של מודלים פשוטים לתתי נתונים מקומיים כדי לבנות פונקציה המתארת את החלק הקבוע של השונות בנתונים, נקודה אחר נקודה. אחד היתרונות העיקריים של שיטה זו הוא שניתוח הנתונים לא נדרש כדי לציין פונקציה כללית מכל צורה שהיא כדי שתתאים בין המודל לנתונים, אלא רק כדי להתאים בין המגזרים לנתונים.

ה"מחיר" עבור תכונות אלה הוא החישובים שגדלו. בגלל החישובים האינטנסיביים, "LOESS" הייתה כמעט בלתי אפשרית לשימוש מבחינה פרקטית בעידן שבו רגרסית הריבועים הפחותים פותחה. רוב השיטות המודרניות האחרות למידול תהליכים דומות ל-"LOESS" בהקשר זה. שיטות אלה עוצבו באופן מודע לשימוש ביכולת החישובית הנוכחית שלנו וביתרונה המקסימלי האפשרי כדי להשיג מטרות שלא הושגו בקלות על ידי השיטות המסורתיות.

עקומה חלקה העוברת דרך נקודות נתונים הושגה על ידי טכניקה סטטיסטית זו, הנקראת עקומת LOESS, במיוחד כאשר כל ערך מוחלק מתקבל על ידי רגרסיית ריבועים פחותים ריבועית משוקללת על טווח של ערכי קריטריון פיזור על ציר ה-Y. כאשר כל ערך מוחלק מתקבל על ידי רגרסיית ריבועים פחותים משוקללת על פני הטווח מתקבלת עקומת LOWESS; עם זאת, יהיו כאלה שיצמידו את LOWESS ו-LOESS כמילים נרדפות.

הגדרה של מודל LOESS[עריכת קוד מקור | עריכה]

שיטת LOESS אשר הוצעה במקור על ידי מדען המחשב האמריקני ויליאם קליבלנד (1979)[2] ופותחה בהרחבה בהמשך על ידי קליבלנד ודבלין (1988)[3], מציינת במיוחד שיטה הידועה גם כרגרסית פולינומים מקומית משוקללת. בכל נקודה בנתונים, מותאם פולינום מדרגה נמוכה לקבוצת משנה של נתונים המכיל ערכים של משתנים מסבירים סביב הנקודה אשר תגובתה מוערכת. הפולינום המותאם, המשתמש בשקלול הריבועים הפחותים, נותן משקל גבוה יותר לנקודות סביב אותה נקודה מגיבה ומוערכת ומשקל מופחת לנקודות הרחוקות ממנה. הערך של פונקציית הרגרסיה עבור אותה נקודה מושג על ידי הערכה של הפולינום המקומי ומשתמש בערכי המשתנים המסבירים עבור אותה נקודה בנתונים. התאמת ה- LOESS מסתיימת לאחר שערכי פונקציית הרגרסיה חושבו עבור כל אחת מה-N נקודות נתונים. הרבה מהפרטים של שיטה זו, כמו מעלות של המודל הפולינומי והמשקלים הם גמישים. טווח האפשרויות עבור כל חלק של השיטה.

תתי נתונים מקומיים[עריכת קוד מקור | עריכה]

תתי הנתונים הבאים לידי שימוש בכל התאמה של הריבועים הפחותים המשוקללים למודל LOESS נקבעים על ידי אלגוריתם השכן הקרוב. קלט המשתמש לתהליך נקרא "רוחב פס" או "פרמטר החלקה" וקובע את כמות הנתונים הנמצאים בשימוש כדי להתאים לכל פולינום מקומי. פרמטר ההחלקה, α, הוא מספר בין 1 ל- (λ+1)/n כאשר λ מסמן את מידת הפולינום המקומי. הערך α מציין את החלק של הנתונים המשמשים בכל התאמה. תתי הנתונים הבאים לידי שימוש בכל התאמת ריבועים מופחתים משוקללים כוללים את ה- n×α הנקודות (מעוגלות למספר השלם הגדול הבא אחרי) של ערכי המשתנים המסבירים הקרובים ביותר לנקודה בה התגובה מוערכת. α נקרא מקדם החלקה מכיוון שהוא שולט בגמישות של פונקציית רגרסיית LOESS. ערכים גבוהים של α יוצרים פונקציית החלקה בעלת תנודתיות נמוכה בתגובה לתנודתיות בנתונים. ה- α הקטן, מסמל את ההתאמה הקרובה ביותר של פונקציית הרגרסיה לנתונים. שימוש בערך קטן מדי של פרמטר החלקה אינו רצוי, עם זאת, שכן פונקציית הרגרסיה בסופו של דבר תתחיל ללכוד את השגיאה האקראית בנתונים. ערכים שימושיים של פונקציית החלקה בדרך כלל משקרים בטווח של 0.25-0.5 עבור מרבית יישומי ה-LOESS.

דרגות של פולינומים מקומיים[עריכת קוד מקור | עריכה]

הפולינומים המקומיים המתאימים לכל סט של תתי נתונים הם כמעט תמיד מדרגה ראשונה או שנייה, כלומר, ליניארי (במובן של קו ישר) או ריבועי. שימוש בפולינום מדרגה אפס הופך את LOESS לממוצע נע משוקלל. מודל פשוט מסוג זה יכול לעבוד טוב במצבים מסוימים אבל לא תמיד לאמוד את הפונקציה הבסיסית בצורה מספיק טובה. פולינומים מדרגות גבוהות יותר יעבדו בתאוריה, אבל יניבו מודלים שהם לא באמת ברוח מודל LOESS. LOESS מבוססת על הרעיון שכל פונקציה יכולה להיאמד היטב על ידי פולינום מרמה נמוכה ומודלים פשוטים כאלה יכולים להתאים לנתונים בקלות. פולינומים מדרגה גבוהה יהיו בעלי נטייה להתאמת יתר של הנתונים בכל סט ולאי יציבות מספרית מה שהופך את החישובים המדויקים למסובכים.

פונקציית משקל[עריכת קוד מקור | עריכה]

כמוזכר לעיל, פונקציית המשקל מחלקת את רוב המשקל לנקודות סביב הנקודה הנאמדת ונותנת פחות משקל לנקודות הרחוקות ממנה. השימוש במשקלים מבוסס על הרעיון שהנקודות הקרובות אחת לשנייה בחלל המשתנים המסבירים נוטות להיות קשורות זו לזו בצורה קלה יותר מאשר הנקודות שרחוקות מחלל זה. בעקבות הגיון זה, נקודות אשר סביר להניח שיעקבו אחרי המודל המקומי בצורה הטובה ביותר ישפיעו על הפרמטר האומד את המודל המקומי בצורה הטובה ביותר. נקודות שסביר להניח שפחות יתאימו למודל המקומי, פחות ישפיעו על הפרמטר האומד של המודל המקומי. פונקציית המשקל המסורתית בה משתמש מודל LOESS היא פונקציית משקל תלת קובייה:

עם זאת, ניתן להשתמש בכל פונקציית משקל אחרת העונה על המאפיינים שהציג קליבלנד (1979) . המשקל עבור נקודה ספציפית בכל מרחב מקומי של תתי נתונים שהוא, מושג על ידי הערכה של פונקציית המשקל במרחק בין הנקודה הספציפית לנקודת האמידה, לאחר דירוג המרחק כך שהמרחק המקסימלי המוחלט של הנקודות על פני תתי הנתונים הוא בדיוק אחד (1).

יתרונותיו של LOESS[עריכת קוד מקור | עריכה]

היתרון הגדול של LOESS על פני שיטות אחרות, הוא שלא נדרש מפרט של פונקציה כדי להתאים את המודל לכל הנתונים במדגם. במקום זאת, האנליסט רק נדרש לספק ערך של פרמטר החלקה ואת הדרגה של הפולינום המקומי. בנוסף, LOESS הוא מאוד גמיש, מה שהופך אותו לאידיאלי למידול תהליכים מורכבים שאין עבורם מודלים תאורטיים קיימים. שני יתרונות אלה, בשילוב עם הפשטות של השיטה, הופכים את LOESS לאחת משיטות הרגרסיה המודרניות האטרקטיביות ביותר ליישומים המתאימים למסגרת הכללית של רגרסיית הריבועים הפחותים ובעלי מבנה דטרמיניסטי מורכב. אף על פי שזה פחות ברור עבור חלק מהשיטות האחרות הקשורות לרגרסיית ריבועים פחותים ליניארית, LOESS גם צובר את רוב ההטבות המשותפות בדרך כלל על ידי תהליכים אלה. החשוב ביותר מאלה זה התאוריה לחישוב אי ודאות לתחזית וכיול. בדיקות רבות אחרות ונהלים המשמשים לתיקוף מודלים ריבועים פחותים יכולות להיות מורחבות למודל LOESS.

חסרונותיו של LOESS[עריכת קוד מקור | עריכה]

LOESS עושה שימוש פחות יעיל בנתונים מאשר שיטות ריבועים פחותים אחרות. הוא דורש מדגמים של נתונים די גדולים כדי לייצר מודלים טובים, זאת מכיוון ש- LOESS מסתמך על מבנה נתונים מקומי בעת ביצוע ההתאמה המקומית. לפיכך LOESS מספק ניתוח נתונים פחות מורכב בתמורה לעלויות נסיוניות יותר. חיסרון נוסף של LOESS הוא עצם העובדה שאיננו מספק פונקציית רגרסיה שמיוצגת בקלות על ידי מודל מתמטי, דבר המקשה על העברת תוצאות הניתוחים לאנשים אחרים. כדי להעביר את פונקציית הרגרסיה לאדם אחר, יידרש להעביר לו גם את ערכת הנתונים והתוכנה לחישוב LOESS. ברגרסיה לא ליניארית, מצד שני, יש צורך לרשום את הצורה הפונקציונלית בלבד כדי לספק הערכות של הפרמטרים הלא ידועים והאי ודאות המוערכת.

LOESS היא שיטה עתירת חישובים. LOESS נוטה להשפעות של חריגים על הנתונים הנמדדים, כמו בשיטות ריבועים פחותים אחרות. קיימת גם גרסה רובסטית (חזקה) איטרטיבית ל- LOESS ‏(Cleveland 1979) אשר מיועדת לשימוש והפחתת רגישות לחריגים, אך יחד עם זאת, עדיין הרבה מאוד חריגים קיצוניים מסוגלים לבוא לידי ביטוי, על אף השיטה הרובסטית.

ראו גם[עריכת קוד מקור | עריכה]

קישורים חיצוניים[עריכת קוד מקור | עריכה]

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ John Fox, Nonparametric Regression: Appendix to An R and S-PLUS Companion to Applied Regression, January 2002
  2. ^ William S. Cleveland, Robust Locally Weighted Regression and Smoothing Scatterplots, Journal of the American Statistical Association 74, 368, 1979, עמ' 829-836 doi: 10.1080/01621459.1979.10481038
  3. ^ Cleveland, W. S. & Devlin, S. J. (1988). "Locally weighted regression: An approach to regression analysis by local fitting". Journal of the American Statistical Association 83: 596–610. doi:10.1080/01621459.1988.10478639.