משפט הגבול המרכזי

משפט הגבול המרכזי (באנגלית: Central Limit Theorem או בקיצור CLT) הוא משפט יסודי בתורת ההסתברות, העוסק בהתפלגות הגבולית של הממוצע המצטבר של סדרת משתנים מקריים. המשפט קובע שתחת תנאים מסוימים, התפלגות הממוצע של סדרת משתנים מקריים בלתי תלויים מתקרבת להתפלגות נורמלית לאחר תִקנוּן מסוים, גם כאשר המשתנים עצמם אינם מתפלגים נורמלית.

הוא הוכח לראשונה על ידי המתמטיקאי הצרפתי אברהם דה מואבר בשנת 1733. עם זאת, המשפט שוכלל מאוחר יותר על ידי מתמטיקאים אחרים, ביניהם קרל פרידריך גאוס ופייר-סימון לפלס, אשר תרמו תרומה משמעותית לפיתוח המשפט.

בעזרת המשפט, ניתן להסביר את השכיחות הגבוהה של ההתפלגות הנורמלית בתחומים רבים: מאחר שרבים מהערכים הנמדדים בטבע מורכבים למעשה מסכום מספר רב של אירועים אקראיים, וממשפט הגבול המרכזי נובע שהם יתפלגו נורמלית (לפחות בקירוב). כמו כן, המשפט מאפשר שימוש בטכניקות שפותחו תחת הנחת נורמליות על התפלגות של משתנה מקרי, גם כאשר הוא אינו מתפלג נורמלית. את המשפט הכללי הוכיח אלכסנדר ליאפונוב.

תוצאת המשפט יכולה להיות מוסברת דרך העובדה שההתפלגות הנורמלית היא בעלת אנטרופיה מקסימלית מבין כל ההתפלגויות בעלות שונות נתונה^[1]. אם כך, כשבמערכת מצטברת אנטרופיה והממוצע מנורמל כך שהשונות נותרת קבועה, סביר לצפות שההתפלגות תשאף דווקא להתפלגות הנורמלית.

עיינו גם בפורטל

פורטל המתמטיקה הוא שער לכל הנושאים הקשורים במתמטיקה. בין היתר, ניתן למצוא בו קישורים אל תחומי המשנה של ענף המתמטיקה, אל מושגי יסוד בתחום, אל ערכים העוסקים בהיסטוריה של המתמטיקה ואל ערכים לגבי מתמטיקאים חשובים.

הגרסה החלשה

תהי $X_{1},X_{2},\dots$ סדרה של משתנים מקריים בלתי תלויים בעלי אותה התפלגות, שיש לה תוחלת $\mu$ ושונות $\sigma ^{2}$ . נסמן ב- ${\bar {X}}_{n}=(X_{1}+\dots +X_{n})/n$ את הממוצע. לפי החוק החזק של המספרים הגדולים, הגבול של הסדרה ${\frac {{\bar {X}}_{n}-\mu }{\sigma }}$ הוא אפס (בהסתברות 1). משפט הגבול המרכזי מספק מידע מפורט בהרבה: סדרת המשתנים המקריים ${\frac {{\bar {X}}_{n}-\mu }{\sigma /{\sqrt {n}}}}$ מתכנסת בהתפלגות אל ההתפלגות הנורמלית הסטנדרטית: $\lim _{n\to \infty }P\left({\frac {{\bar {X}}_{n}-\mu }{\sigma /{\sqrt {n}}}}<z\right)=\Phi (z)$ , כאשר $\Phi (z)=\int _{-\infty }^{z}{\frac {1}{\sqrt {2\pi }}}e^{-{\frac {t^{2}}{2}}}dt$ .

הגרסה החזקה

תהי $X_{1},X_{2},\dots$ סדרה של משתנים מקריים בלתי תלויים, המקיימת:

$\ \forall k:\ E(X_{k})=0$ (אין כאן פגיעה בכלליות, כי מכל משתנה מקרי ניתן להחסיר את התוחלת שלו).
$\ \forall k:\ E(X_{k}^{2})=\sigma _{k}^{2}<\infty$ (שונות סופית).
$\ \forall k:\ E(|X_{k}|^{3})<\infty$

נסמן $\ S_{n}={\sqrt {\sum _{k=1}^{n}{\sigma _{k}^{2}}}}$ . אם $\ \ {\mbox{lim}}{{\frac {1}{S_{n}^{3}}}\sum _{k=1}^{n}{E(|X_{k}|^{3})}}=0\ \$ , אז סדרת המשתנים המקריים ${\frac {X_{1}+\cdots +X_{n}}{S_{n}}}$ מתכנסת בהתפלגות אל ההתפלגות הנורמלית הסטנדרטית.

משפט גבול מרכזי רב ממדי

תהי $X_{1},X_{2},\dots$ סדרה של וקטורים מקריים ב- ${\textstyle \mathbb {R} ^{k}}$ , בלתי תלויים ושווי התפלגות, עם תוחלת $\operatorname {E} [X_{i}]=\mu$ ושונות $\operatorname {Var} (X_{i})=\Sigma$ . נסמן ב- ${\bar {X}}_{n}=(X_{1}+\dots +X_{n})/n$ את הממוצע. סדרת הווקטורים המקריים ${\sqrt {n}}\left({\overline {\mathbf {X} }}_{n}-{\boldsymbol {\mu }}\right)$ מתכנסת בהתפלגות להתפלגות רב נורמלית:

${\sqrt {n}}\left({\overline {\mathbf {X} }}_{n}-{\boldsymbol {\mu }}\right){\overset {d}{\rightarrow }}\ {\mathcal {N}}(0,{\boldsymbol {\Sigma }})$ .

דוגמה

נראה כיצד ממשפט הגבול המרכזי נובע כי אם $X\sim Bin(n,p)$ – במילים: המשתנה $X$ מתפלג בינומית – אז כאשר $n$ גדול מתקיים $X{\dot {\sim }}N(np,npq)$ , כלומר $X$ מתפלג בקירוב כמו משתנה נורמלי עם תוחלת $np$ ושונות $npq$ , כאשר $p+q=1$ ו- $0<p,q<1$ .

ניתן לראות משתנה בינומי $X$ כסכום סדרת משתנים מקריים $Y$ שכל אחד מהם מקבל 1 בהסתברות $p$ ואחרת מקבל 0 (ניסויי ברנולי). התוחלת של משתנה כזה היא $\mu =p$ והשונות שלו היא $pq$ . לכן, כאשר $n$ גדול, נובע ממשפט הגבול המרכזי:

$F_{X}(x)=P\left(X\leq x\right)=P\left({\frac {X-n\mu }{\sqrt {n\sigma ^{2}}}}\leq {\frac {x-n\mu }{\sqrt {n\sigma ^{2}}}}\right)\approx \Phi \left({\frac {x-np}{\sqrt {npq}}}\right)=F_{Z}\left({\frac {x-np}{\sqrt {npq}}}\right)$

כאשר $Z\sim N(0,1)$ .

יישומים

בתורת ההסתברות

בספרות יש מספר דוגמאות מעניינות ושימושיות ויישומים הקשורים למשפט הגבול המרכזי. מקור אחד מציין את הדוגמאות הבאות:

התפלגות המרחק הכולל שעוברים בהילוך מקרי (מוטה או חסר הטיה) ייטה להתפלג נורמלי.
הטלת מטבע מספר רב של פעמים יניב את ההתפלגות הנורמלית עבור המספר הכולל של "עץ" (או "פלי" באופן שקול).

מנקודת מבט אחרת, משפט הגבול המרכזי מסביר את ההופעה התדירה של "עקומת הפעמון" בהערכות צפיפות המופעלות על מידע מהעולם האמיתי. במקרים כמו רעש אלקטרוני, ציוני מבחן וכו', נוכל בדרך כלל להתייחס לתצפית בודדת כממוצע ממושקל של מספר רב של גורמים קטנים. אם נשתמש בהכללות של משפט הגבול המרכזי נוכל לראות שזה לרוב יניב (אך לא תמיד) התפלגות סופית שהיא בערך נורמלית.

באופן כללי, ככל שתצפית היא יותר כמו סכום של משתנים מקריים בלתי תלויים עם השפעה זהה על התוצאה, היא מתאפיינת ביותר "נורמליות". זה מצדיק את השימוש הנפוץ בהתפלגות זו כדי להשלים את ההשפעה של משתנים מקריים שלא נצפו במודלים כמו במודל הליניארי.

בסטטיסטיקה

בטכניקות של בדיקת השערות, מבחן סטטיסטי מנסה להפריד בין שתי התפלגויות: בין ההתפלגות תחת השערת האפס, קרי ההשערה הקודמת למבחן, לבין התפלגות אחרת. לשם כך דוגם החוקר מספר תצפיות מהאוכלוסייה שהוא בוחן, ומחשב את סטטיסטי ערך ה-p (באנגלית: p-value) של התוצאה. אם לא סביר כי הסטטיסטי יצא מההתפלגות של השערת האפס (ברמת המובהקות שנקבעה מראש), החוקר דוחה את השערה זו.

לרוב, התכונה באוכלוסייה אותה מבצע המבחן בוחן אינה מתפלגת נורמלית, אך באמצעות שימוש במשפט הגבול המרכזי הוא יודע שאם הסטטיסטי הוא ממוצע של אותה התכונה, ומתקיימות שאר ההנחות הנדרשות לשם הפעלת המשפט על אותה התכונה, אזי הוא יכול להניח כי עם מספיק תצפיות הסטטיסטי יתפלג נורמלית. בכך הוא יכול להשוות אנליטית את הממוצע אותו דגם להסתברות שאותו ממוצע ייצא תחת התפלגות נורמלית. למבחן סטטיסטי שכזה, שיודע את השונות לאותה תכונה באוכלוסייה קוראים מבחן Z.

מחוץ לתורת ההסתברות

למשפטי גבול בתורת ההסתברות יש יישומים גם מחוץ לתורת ההסתברות.

למשל, בעזרת משפט הגבול המרכזי ניתן לחשב את הגבול $L=\lim _{n\to \infty }\int _{-1}^{1}\dots \int _{-1}^{1}\cos \left({\frac {x_{1}+\dots +x_{n}}{\sqrt {n}}}\right)dx_{1}\dots dx_{n}$ .

כדי לעשות זאת, לוקחים משתנים מקריים בלתי תלויים $X_{1},\dots ,X_{n}$ המתפלגים אחיד בקטע $[-1,1]$ (עם מידת לבג). כל משתנה כזה הוא בעל תוחלת אפס ושונות $\sigma ^{2}={\frac {1}{3}}$ . משתנים אלו "מייצגים" את המשתנים $x_{1},\dots ,x_{n}$ במרחב האוקלידי ולכן הם בלתי תלויים. אם כן האינטגרל שווה לתוחלת של המ"מ $\cos \left({\frac {X_{1}+\dots +X_{n}}{\sqrt {n}}}\right)$ .

לפי משפט הגבול המרכזי, מתקיים ${\mathcal {Z}}={\frac {X_{1}+\dots +X_{n}}{\sqrt {n}}}\longrightarrow Z\sim N\left(0,\sigma ^{2}\right)$ . כעת, ניתן להסיק מהמשפט גם התכנסות חלשה (ולמעשה התנאי שקול להתכנסות בהתפלגות) - כלומר, לכל פונקציה רציפה וחסומה $f$ מתקיים $E[f({\mathcal {Z}})]\to E[f(Z)]$ ; במקרה שלנו, $\cos$ היא רציפה וחסומה, ולכן הגבול שווה ל-

$L=E\left[\cos \left(Z\right)\right]=E\left[{\frac {e^{iZ}+e^{-iZ}}{2}}\right]={\frac {1}{2}}\left(\varphi _{Z}(1)+\varphi _{Z}(-1)\right)=e^{-{\frac {1}{6}}}$