התפלגות תערובת

בהסתברות וסטטיסטיקה, התפלגות תערובת היא התפלגות של משתנה מקרי המתקבל מקבוצה יוצרת של משתנים מקריים אחרים באופן הבא: ראשית, בוחרים באקראי משתנה מקרי מתוך קבוצת המשתנים המקריים לפי הסתברויות נתונות, ולאחר מכן מקבלים תוצאה (מימוש) מתוך המשתנה המקרי שנבחר. המשתנים המקריים בקבוצה יכולים להיות גם וקטורים מקריים (מאותו הממד), ובמקרה זה התפלגות התערובת היא התפלגות משותפת.

ניתן לבטא את פונקציית ההתפלגות המצטברת של התפלגות התערובת כצירוף קמור (כלומר סכום משוקלל, עם משקלים לא שליליים המסתכמים ל-1) של פונקציות ההתפלגות המצטברת של המשתנים המקריים בקבוצה היוצרת. ההתפלגויות של המשתנים המקריים בקבוצה היוצרת נקראת מרכיבי התערובת, וההסתברויות הקשורות לכל מרכיב נקראות משקלות התערובת. מספר המרכיבים במקרים מסוימים יכול להיות גם אינסופי בן מניה. מקרים כלליים יותר, כמו למשל קבוצה שאינה בת מניה של מרכיבים, מטופלים תחת הכותרת של התפלגויות מורכבות.

יש להבחין בין משתנה מקרי שפונקציית ההתפלגות שלו או צפיפותו הם צירוף של קבוצת מרכיבים (כלומר התפלגות תערובת) לבין משתנה מקרי שמתקבל כצירוף ליניארי של שני משתנים מקריים או יותר. במקרה כזה ניתן לקבל את ההתפלגות הנוצרת באמצעות אופרטור הקונבולציה. לדוגמה, סכום שני משתנים מקריים בעלי התפלגות נורמלית משותפת, יהיה תמיד משתנה מקרי בעל התפלגות נורמלית. לעומת זאת, התפלגות תערובת שנוצרת משתי התפלגויות נורמליות שונות לא תהיה בעצמה התפלגות נורמלית.

פונקציית התפלגות מצטברת ופונקציית צפיפות

פונקציית צפיפות תערובת של שלוש התפלגויות נורמליות (μ=5,10,15, σ=2) כאשר כל המשקלים שווים ל-1/3.

בהינתן קבוצה סופית של פונקציות התפלגות מצטברות $F_{1}(x),F_{2}(x),...,F_{n}(x)$ או פונקציות צפיפות $f_{1}(x),f_{2}(x),...,f_{n}(x)$, ומשקולות $w_{1},w_{2},...,w_{n}$ כך ש-$w_{i}>0$ ו-$\sum _{i=1}^{n}w_{i}=1$. להתפלגות התערובת יש פונקציית ההתפלגות $F$, או/ו פונקציית הצפיפות $f$, כסכום (שבשני המקרים הוא צירוף קמור):

$F(x)=\sum _{i=1}^{n}\,w_{i}\,F_{i}(x)$

$f(x)=\sum _{i=1}^{n}\,w_{i}\,f_{i}(x)$

צירוף ליניארי של פונקציות צפיפות אינו בהכרח פונקציית צפיפות, מכיוון שהיא עשויה להיות שלילית או בעלת אינטגרל שונה מ-1. עם זאת, צירוף קמור של פונקציות צפיפות משמר את התכונות של אי-שליליות ואינטגרל שווה ל-1. לכן צפיפות התערובת היא פונקציית צפיפות לגיטימית.

סוג זה של תערובת, בהיותו סכום סופי, נקרא תערובת סופית. עבור המקרה של קבוצה אינסופית (בת מניה) של מרכיבים, מחליפים את $n$ בביטויים ב- $\infty \!$.

מומנטים

בהינתן משתנים מקריים מ-$n$ התפלגויות המרכיבים, $X_{1},X_{2},...,X_{n}$ ומשתנה מקרי של ההתפלגות התערובת $X$. לכל פונקציה $H$ שעבורה התוחלות $\operatorname {E} [H(X_{i})]$ קיימות, ובהנחה שפונקציות הצפיפות של המרכיבים $f_{i}(x)$ קיימות, מתקיים,

$\operatorname {E} [H(X)]=\int _{-\infty }^{\infty }H(x)\sum _{i=1}^{n}w_{i}f_{i}(x)\,dx=\sum _{i=1}^{n}w_{i}\int _{-\infty }^{\infty }f_{i}(x)H(x)\,dx=\sum _{i=1}^{n}w_{i}\operatorname {E} [H(X_{i})]$

לכן, המומנט ה-$j$ (כאשר בוחרים $H(x)=x^{j}$ ) הוא פשוט ממוצע משוקלל של המומנטים ה-$j$ של המרכיבים. ניתן לקבל את המומנטים המרכזיים $H(x)=(x-\mu )^{j}$, כאשר $\mu$היא התוחלת של התערובת, באופן הבא:

$\operatorname {E} [(X-\mu )^{j}]=\sum _{i=1}^{n}w_{i}\operatorname {E} [(X_{i}-\mu _{i}+\mu _{i}-\mu )^{j}]=\sum _{i=1}^{n}w_{i}\sum _{k=0}^{j}\left({\begin{array}{c}j\\k\end{array}}\right)(\mu _{i}-\mu )^{j-k}\operatorname {E} [(X_{i}-\mu _{i})^{k}]$

כאשר $\mu _{i}$ היא התוחלת של המרכיב ה-$i$.

במקרה של תערובת של התפלגויות חד-ממדיות עם משקלים $w_{i}$, תוחלת $\mu _{i}$_i ושונות $\sigma _{i}^{2}$, התוחלת והשונות הכוללים יהיו:

$\operatorname {E} [X]=\mu =\sum _{i=1}^{n}w_{i}\mu _{i}$

$\sigma ^{2}=\operatorname {E} [X^{2}]-\mu ^{2}=\left(\sum _{i=1}^{n}w_{i}(\operatorname {E} [X_{i}^{2}])\right)-\mu ^{2}=\sum _{i=1}^{n}w_{i}(\sigma _{i}^{2}+\mu _{i}^{2})-\mu ^{2}$

להתפלגות תערובת יש את הפוטנציאל לשמש כמודל במצבים שבהם יש מומנטים לא טריוויאליים מסדר גבוה כמו צידוד וגבנוניות, אפילו בהיעדר תכונות כאלה במרכיבים עצמם.

דוגמאות

תערובת שתי התפלגויות נורמליות

בהינתן התפלגות תערובת עם משקלים שווים של שתי התפלגויות נורמליות עם תוחלות שונות ואותה סטיית תקן, אז פונקציית צפיפות תערובת תהיה$f(x)=0.5{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\left(e^{-{\frac {(x-\mu _{1})^{2}}{2\sigma ^{2}}}}+e^{-{\frac {(x-\mu _{2})^{2}}{2\sigma ^{2}}}}\right)$.

התפלגות התערובת תציג גבנוניות נמוכה ביחס להתפלגות נורמלית בודדת.

אם מתקיים $\left|\mu _{1}-\mu _{2}\right|>2\sigma$ אז התפלגות התערובת היא התפלגות דו-שיאית. אחרת, יש לה שיא רחב.

לחלופין, כאשר שתי ההתפלגויות המרכיבות הן עם אותה תוחלת וסטיות תקן שונות, להתפלגות התערובת תהיה גבנוניות גבוהה, עם שיא חד יותר וזנבות כבדים יותר מאשר להתפלגות נורמלית אם אתה סטיית תקן.

• 
  התפלגות תערובת, שהיא דו-שיאית
• 
  התפלגות תערובת דו-ממדית, עם ארבעה שיאים מקומיים.

תערובת של התפלגויות נורמלית וקושי

הדוגמה הבאה לקוחה מהמפל, אשר מייחס את הקרדיט לג'ון טוקי.

נתונה התפלגות תערובת המוגדרת על ידי פונקציית הצפיפות

$f(x)=\left(1-10^{-10}\right){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}+10^{-10}{\frac {1}{\pi (1+x^{2})}}$.

הממוצע של תצפיות בלתי תלויות מההתפלגות הנתונה על ידי פונקציית הצפיפות $f(x)$ מתנהג כמו בקירוב טוב כמו בהתפלגות נורמלית למעט במדגמים גדולים במיוחד, זאת למרות שהתוחלת של התפלגות התערובת לא קיימת.

יישומים

פונקציות צפיפות תערובת הן פונקציות צפיפות מסובכות יחסית הניתנות לביטוי במונחים של פונקציות צפיפות פשוטות יותר (מרכיבי התערובת), והן משמשות מכיוון שהן מספקות מודל טוב עבור מערכי נתונים מסוימים (כאשר תת-קבוצות שונות של הנתונים מציגות מאפיינים שונים), וכן מכיוון שלעיתים קרובות הן קלות לניתוח מתמטי, בגלל הפשטות היחסית של מרכיבי התערובת.

ניתן להשתמש בצפיפות תערובת לתיאור של אוכלוסיית מדגם עם תת-אוכלוסיות, כאשר מרכיבי התערובת הם פונקציות הצפיפות על תת-האוכלוסיות, והמשקלים הם הפרופורציות של כל תת-אוכלוסייה באוכלוסייה הכוללת.

ניתן להשתמש בצפיפות תערובת גם לתאר של טעויות או זיהום בנתונים - אפשר להניח שרוב הדגימות מודדות את התופעה הרצויה, וחלק אחר וקטן מהדגימות מהתפלגות שונה ושגויה.

סטטיסטיקה היסקית המתעלמת מקיום של מרכיב של שגיאה, עלולה להיכשל בניתוח פונקציית צפיפות תערובת המכילה מרכיב לא צפוי- לדוגמה, ניתוחים המניחים התפלגות נורמלית עלולים להיכשל בנוכחות ערכי קיצון בודדים אשר נובעים ממרכיב של שגיאה לא צפוי. במצבים כאלה נהוג להשתמש בסטטיסטיקה חסינה.

במטא-אנליזה של מספר מחקרים, הבדלים בין הדרך שבה המחקרים בוצעו גורמים לכך שהתפלגות התוצאות היא התפלגות תערובת, ומובילה לפיזור יתר של התוצאות ביחס לטעות הצפויה. לדוגמה, בסקר סטטיסטי, רווח בר סמך (הנקבע לפי גודל המדגם) מנבא את פיזור התוצאות בסקרים חוזרים. הבדלים בין המחקרים (למחקרים יש הטיות דגימה שונות) מגדילים את הפיזור בפועל מעבר לרווח בר סמך המחושב.

ראו גם

• אמידת פרמטרים של התפלגות מעורבת של שתי התפלגויות רב-נורמליות באמצעות אלגוריתם מיקסום התוחלת (EM).