חסם קרמר-ראו

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

בתורת האמידה ובסטטיסטיקה, חסם קרמר-ראו (Cramér–Rao lower bound, CRLB), הוא חסם תחתון על השונות של אומדים של פרמטרים דטרמיניסטיים. לעתים הוא ידוע בשמות "אי-שוויון קרמר-ראו" או "אי-שוויון האינפורמציה". הוא נקרא על שם הרלד קרמר וקליאמפודי ראדאקרישנה ראו, שהיו בין הראשונים לגזור אותו.

לפי צורתו הפשוטה ביותר של החסם, השונות המינימלית של כל אומד חסר הטיה היא ההופכי של האינפורמציה של פישר. אומד חסר הטיה שמשיג את החסם הזה נקרא אומד יעיל. אומד כזה משיג את השגיאה הריבועית הממוצעת הנמוכה ביותר מבין כל האומדים חסרי ההטיה, ולכן הוא נקרא גם UMVUE (אומד חסר הטיה בעל שונות מינימלית במידה שווה). עם זאת, לעתים לא קיים אומד חסר-הטיה שמשיג את החסם, גם כאשר קיים אומד UMVUE.

וריאציה של חסם קרמר-ראו חוסמת את השונות של אומדים בעלי-הטיה ידועה. במקרים מסוימים, אומד מוטה עשוי להניב שגיאה ריבועית ממוצעת ושונות נמוכות יותר מאלו שמשיג חסם קרמר-ראו חסר ההטייה.

תנאים רגולריים[עריכת קוד מקור | עריכה]

החסם תקף תחת שני תנאים רגולריים חלשים יחסית על פונקציית צפיפות ההסתברות \ f(x; \theta):

  • האינפורמציה של פישר מוגדרת היטב, כלומר לכל \ x שבו \ f(x; \theta)>0, הנגזרת  \frac{\partial}{\partial\theta} \ln f(x;\theta) קיימת והיא סופית.
  • ניתן להחליף את הסדר של גזירה לפי \ \theta ואינטגרציה לפי \ x. התנאי הזה מתקיים כאשר אחד מהבאים מתקיים:
    • הפונקציה \ f(x; \theta) היא בעלת תומך סופי ב-\ x, שגבולותיו אינם תלויים ב-\ \theta.
    • הפונקציה \ f(x; \theta) היא בעלת תומך אינסופי, גזירה ברציפות, והאינטגרל מתכנס במידה שווה לכל \ \theta.

החסם[עריכת קוד מקור | עריכה]

אומד סקלרי חסר-הטיה[עריכת קוד מקור | עריכה]

יהי \ \theta פרמטר דטרמיניסטי לא-ידוע המשוערך בעזרת וקטור מדידות \ x. הפילוג של המדידות, שתלוי בפרמטר, הוא \ f(x; \theta). השונות של כל אומד חסר-הטיה \hat{\theta} של הפרמטר \ \theta חסום על ידי ההופכי של האינפורמציה של פישר:

\mathrm{var}(\hat{\theta})
\geq
\frac{1}{I(\theta)}

האינפורמציה של פישר במקרה הסקלרי I(\theta), מוגדרת לפי:


I(\theta) = \mathrm{E}
 \left[
  \left(
   \frac{\partial \ln f(x;\theta)}{\partial\theta}
  \right)^2
 \right] = -\mathrm{E}\left[ \frac{\partial^2 \ln f(x;\theta)}{\partial\theta^2} \right]

אומד סקלרי כללי[עריכת קוד מקור | עריכה]

צורה כללית יותר של החסם מתקבלת עבור מקרה של אומד חסר הטיה, \ T(X), שנועד לאמוד את \ \psi(\theta), פונקציה ידועה של פרמטר סקלרי דטרמיניסטי לא-ידוע \ \theta. כאן, חוסר ההטיה פירושו \ E\left[T(X)\right]=\psi(\theta). במקרה זה, החסם נתון על ידי:


\mathrm{var}(T)
\geq
\frac{[\psi'(\theta)]^2}{I(\theta)}

גישה זו שימושית גם לצורך מציאת החסם עבור אומד בעל הטיה ידועה, אותה נסמן \ b(\theta). במצב זה, נבחן את הפונקציה \ \psi(\theta)=\theta+b(\theta). כל אומד חסר הטיה שהתוחלת שלו היא \ \psi(\theta), שונותו חסומה על ידי הביטוי שלעיל; במלים אחרות, השונות של כל אומד \hat{\theta} שהטיתו ידועה ושווה ל-\ b(\theta), חסומה על ידי:


\mathrm{var} \left(\hat{\theta}\right)
\geq
\frac{[1+b'(\theta)]^2}{I(\theta)}
.

ואכן, ניתן לראות כי תוצאה זו מתכנסת לתוצאה במקרה חסר-ההטיה עבור המקרה \ b(\theta)=0. אם כן, השגיאה הריבועית הממוצעת של כל אומד מוטה חסומה על ידי:

\mathrm{E}\left((\hat{\theta}-\theta)^2\right)\geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2.

אומד וקטורי כללי[עריכת קוד מקור | עריכה]

במקרה של וקטור פרמטרים לא-ידועים, החסם דומה מאוד, אלא שכעת צורתו וקטורית: האינפורמציה של פישר היא מטריצה, ולא סקלר, ואת שונות האומד מחליפה מטריצת השונויות המשותפות (Covariance Matrix). בנוסף, מדובר בווקטור של אומדים \boldsymbol{T}(X) המקיים \mathrm{E}[\boldsymbol{T}(X)]=\boldsymbol{\psi}\left(\boldsymbol{\theta}\right). האינפורמציה של פישר תוגדר לפי:


I
= \mathrm{E} \left[
 \frac{\partial^T}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right)
 \frac{\partial}{\partial\boldsymbol{\theta}} \log f\left(x; \boldsymbol{\theta}\right)
\right]
.

החסם (זהו אי-שוויון מטריצי):


\mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)
\geq 
\frac
 {\partial \boldsymbol{\psi} \left(\boldsymbol{\theta}\right)}
 {\partial \boldsymbol{\theta}}
[I\left(\boldsymbol{\theta}\right)]^{-1}
\left(
 \frac
  {\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)}
  {\partial \boldsymbol{\theta}}
\right)^T

במקרה הפשוט שבו אנו אומדים ישירות את \boldsymbol{\theta}, החסם יקבל את הצורה:


\mathrm{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)
\geq
I\left(\boldsymbol{\theta}\right)^{-1}

שמזכירה מאוד את המקרה הסקלרי. זהו אי-שוויון מטריצי: ההפרש בין אגף שמאל לאגף ימין הוא מטריצה חיובית.

הוכחת החסם[עריכת קוד מקור | עריכה]

ההוכחה הבאה היא זו של המקרה הסקלרי הכללי שהוצג לעיל.

נניח ש-\ X הוא משתנה מקרי עם פונקציית צפיפות הסתברות \ f(x; \theta), וש-\ T=t(X) הוא אומד של \ \psi(\theta). נגדיר את V להיות הציון של הפילוג:

V = \frac{\partial}{\partial\theta} \ln f(X;\theta)

התוחלת של הציון:

\mathrm{E} \left[V\right]=\mathrm{E} \left[\frac{\partial}{\partial\theta} \ln f(X;\theta)\right]=\int
 \frac{\partial}{\partial\theta} \ln f(x;\theta)
 \cdot f(x;\theta) \, dx=\int
 \frac{\partial}{\partial\theta} f(x;\theta)
 \cdot \, dx=\frac{\partial}{\partial\theta} \int f(x;\theta) \, dx=\frac{\partial}{\partial\theta} (1)=0

כאשר החלפת סדר הגזירה והאינטגרציה אפשרית בהנחה שהתנאים הרגולריים מתקיימים.

השונות המשותפת של V ושל T:

\ Cov(V,T)=\mathrm{E} \left[T\cdot V\right]-\mathrm{E} \left[T\right]\cdot \mathrm{E} \left[V\right]=\mathrm{E} \left[T\cdot \frac{\partial}{\partial\theta} \ln f(X;\theta)\right]=
\int t(x) \frac{\partial}{\partial\theta} f(x;\theta) \, dx=
\frac{\partial}{\partial\theta} \int t(x) f(x;\theta) \, dx=
\frac{\partial}{\partial\theta} \mathrm{E} \left[T(X) \right]

מאחר ו-\ T(X) הוא משערך חסר הטיה, מתקבל:

\ Cov(V,T)=\frac{\partial}{\partial\theta} \psi(\theta)=\psi'(\theta)

לפי אי-שוויון קושי-שוורץ, מתקיים:

\ \left[Cov(T,V)\right]^2 \le Var(T) \cdot Var(V)

השונות של V היא גם האינפורמציה של פישר (לפי הגדרה), ולכן נקבל בהצבה לאי-שוויון:

\ Var(T) \ge \frac{\left[\psi'(\theta)\right]^2}{Var(V)}=\frac{\left[\psi'(\theta)\right]^2}{I(\theta)}

שהוא החסם המבוקש.

ראו גם[עריכת קוד מקור | עריכה]

לקריאה נוספת[עריכת קוד מקור | עריכה]

  • Kay, Steven M. (1993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall.
  • Shao, Jun (1998). Mathematical Statistics. New York: Springer.