הלמה של ניימן-פירסון

בבדיקת השערות סטטיסטית, הלמה של ניימן-פירסון היא למה שפותחה על ידי הסטטיסטיקאים יז'י ניימן ואגון פירסון, והיא מצביעה על מבחן בין השערות פשוטות, אשר לו העוצמה הגדולה ביותר מבין כל המבחנים בעלי אותה רמת המובהקות $\alpha$ (או נמוכה יותר). במילים אחרות, היא מבטיחה את קיומו של מבחן שהוא טוב יותר מכל ה"מתחרים" שלו, ומציעה דרך לבנות אותו.

ניסוח

נתונים מדגם $\mathbf {X} =(X_{1},\dots ,X_{n})$, פונקציית נראות $L(\mathbf {X$ ;\theta )} התלויה בפרמטר $\theta$, ושתי השערות פשוטות: השערת האפס, $H_{0}\,:\theta =\theta _{0}$ וההשערה החלופית, $H_{1}\,:\theta =\theta _{1}$. תחת תנאים אלה, מבחן יחס הנראות, שאזור הדחייה שלו הוא:$${\mathcal {R}}_{k}=\left\{\mathbf {X$$ :{\frac {L(\mathbf {X} ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}>k_{\alpha }\right\}} הוא המבחן בעל העוצמה הגדולה ביותר (Uniformly Most Powerful; UMP) מבין כל המבחנים ברמת מובהקות $\alpha$ (כלומר, מתקיים $\operatorname {Pr} (\mathbf {X} \in {\mathcal {R}}_{k})=\alpha$, אם $H_{0}$ נכונה).

למעשה, פעמים רבות ניתן למצוא מבחן שקול (כלומר, בעל אותו אזור דחייה), שסטטיסטי המבחן שלו פשוט יותר – ראו דוגמה להלן.

דוגמה

נניח מודל סטטיסטי שבו הנתונים מתפלגים נורמלית עם שונות ידועה $\sigma ^{2}$ ותוחלת לא ידועה $\mu$. נניח גם כי קיימות שתי השערות חלופיות פשוטות באשר לתוחלת:$${\begin{array}{lcl}H_{0}:&\mu =0\\H_{1}:&\mu =1\end{array}}$$הנראות לפי השערת האפס היא $$L(\mathbf {X$$ ;\theta _{0})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}{X_{i}}^{2}\right)} ובאופן דומה, הנראות לפי ההשערה החלופית היא $$L(\mathbf {X$$ ;\theta _{1})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(X_{i}-1\right)^{2}\right)} ויחס הנראות הוא$${\begin{alignedat}{2}{\frac {L(\mathbf {X$$ ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}&={\frac {{\cancel {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(X_{i}-1\right)^{2}\right)}{{\cancel {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}}\\&={\frac {\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left({X_{i}}^{2}-2X_{i}+1\right)\right)}{\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}}\\&=\exp \left[-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left({\cancel {{X_{i}}^{2}}}-2X_{i}+1-{\cancel {{X_{i}}^{2}}}\right)\right]\\&=\exp \left({\frac {\sum _{i=1}^{n}X_{i}-n/2}{\sigma ^{2}}}\right)\\\end{alignedat}}} נרצה להשוות את יחס הנראות הזה לערך קריטי התלוי במובהקות, ולדחות את השערת האפס אם $$\exp \left({\frac {\sum _{i=1}^{n}X_{i}-n/2}{\sigma ^{2}}}\right)>k_{\alpha }^{*}$$עם זאת, ניתן לשים לב כי תנאי הזה שקול לדחייה של השערת האפס אם$${\bar {X}}_{n}{\overset {\mathrm {def} }{=}}{\frac {1}{n}}\sum _{i=1}^{n}X_{i}>k_{\alpha }$$

עבור ערך קריטי $k_{\alpha }$ מתאים.

במילים אחרות, מבחן יחס הנראות שקול למבחן שבודק האם ממוצע המדגם ${\bar {X}}_{n}$ גדול מערך קריטי, ולמבחן כזה יש עוצמה מקסימלית. היתרון בהצגה זו היא שממוצע המדגם הוא סטטיסטי מבחן פשוט יותר לניתוח מאשר יחס הנראות עצמו. בפרט, ניתן לחשב ממנו (בעזרת מעט טרנספורציות פשוטות) מבחן Z.

הוכחה

דיאגרמת ון הממחישה את ההוכחה ללמה של ניימן ופירסון: אזורי הדחייה אם מתקיימת השערת האפס

אזורי הדחייה אם מתקיימת ההשערה האלטרנטיבית

יהי ${\mathcal {R}}_{NP}$ אזור הדחייה אשר מוגדר על פי הלמה, כלומר:

${\mathcal {R}}_{NP}=\left\{\mathbf {X$ :{\frac {L(\mathbf {X} ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}>k_{\alpha }\right\}}

ויהי מבחן אחר בעל אותה רמת מובהקות, שאזור הדחייה שלו, ${\mathcal {R}}_{A}$, שונה מ-${\mathcal {R}}_{NP}$, ומתקיים $\operatorname {Pr} \left(\mathbf {X} \in {\mathcal {R}}_{NP}\right)=\operatorname {Pr} \left(\mathbf {X} \in {\mathcal {R}}_{A}\right)=\alpha$, אם ההשערה $H_{0}$ נכונה.

נוסחת ההסתברות השלמה קובע כי לכל $\theta$, $$\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)+\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)$$ $$\ \ \operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)+\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)$$

ולכן,

${\begin{aligned}\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)-\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)&=\left[\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)-\color {magenta}{\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}\right]-\left[\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)-\color {magenta}{\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}\right]\\&=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)-\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)\end{aligned}}$

(1)

ובפרט, אם $\theta =\theta _{0}$, למבחנים רמת מובהקות זהה, ולכן,

$${\begin{aligned}\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)-\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)&=\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\right)-\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\right)\\&=\ \alpha -\alpha \\&=0\end{aligned}}$$

כלומר:

$$\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)=\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)$$

(2)

המשפט מבקש להוכיח כי $\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\right)>\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\right)$, אך מטענה (1) נובע כי לשם כך מספיק להוכיח כי $$\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)>\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)$$

לשם הוכחת הטענה האחרונה, ניתן לשים לב כי מההנחה, בתוך ${\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}$ מתקיים $L(\mathbf {X$ ;\theta _{1})>k_{\alpha }\ L(\mathbf {X} ;\theta _{0})} , ובפרט,

$\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)>\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)$

(3)

באופן דומה, בתוך ${\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}$,

$\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)<\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)$

(4)

ועל כן, $${\begin{aligned}\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)&{\overset {(3)}{>}}\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)\\&{\overset {(2)}{=}}\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)\\&{\overset {(4)}{>}}\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)\end{aligned}}$$ כנדרש.

ראו גם

• מבחן יחס הנראות
• מבחן יחס הנראות המוכלל (GLRT)

לקריאה נוספת

• Neyman, Jerzy; Pearson, Egon S. (1933). "On the Problem of the Most Efficient Tests of Statistical Hypotheses". Philosophical Transactions of the Royal Society of London. 231 (694–706): 289–337. Bibcode:1933RSPTA.231..289N. doi:10.1098/rsta.1933.0009. JSTOR 91247.

קישורים חיצוניים

• יוסי לוי, בין שתי טעויות, באתר "נסיכת המדעים"
• הלמה של ניימן-פירסון, באתר MathWorld (באנגלית)