טיוטה:התפלגות תת-אקספוננציאלית

השוואה בין זנבות של התפלגות תת-מעריכית ללא תת-מעריכית

בתורת ההסתברות, התפלגות תת-מעריכית היא התפלגות שזנבותיה דועכים בקצב מהיר שהוא לפחות מעריכי או מהיר יותר. פורמלית, התפלגות של משתנה מקרי $X$ תיקרא תת-מעריכית אם עבור כל $t\geq 0$ גדול קיים $K_{1}>0$ כך ש: ${\textstyle \Pr(|X|\geq t)\leq 2\exp {(-t/K_{1})}}$.

במילים: הסיכוי ש$|X|$ נמצא רחוק יותר מ-$t$ חסום בפונקציה מעריכית דועכת ביחס ל-$t$.

התפלגות תת-מעריכית היא גם התפלגות זנב דק כיוון שהיא עונה על ההגדרה שקיים $t\geq 0$:

$\lim _{x\to \infty }e^{tx}{\overline {F}}(x)=0$ , כאשר נגדיר ${\overline {F}}(x)\equiv \Pr(X>x)\,$

הגדרות

ההתפלגות התת-מעריכית ניתנת להגדרה במספר דרכים שקולות, עבור קבועים $K_{2},..,K_{5}$ ממשיים:

1. תוחלת האקספוננט של הערך המוחלט של המשתנה המקרי כפול פרמטר חסום בשתיים: $\operatorname {E} [e^{|X|/K_{2}}]\leq 2$.
2. עבור כל $\lambda$ כך ש-$0\leq \lambda \leq {\frac {1}{K_{3}}}$, התוחלת של האקספוננט של המשתנה המקרי כפול למדה דועכת מעריכית עם קצב $K_{3}$: $\operatorname {E} [e^{\lambda |X|}]\leq e^{K_{3}\lambda }$.
3. לכל $p\geq 1$, מתקיים: $\operatorname {E} [|X|^{p}]\leq K_{4}p$.
4. במידה ש-$E[X]=0$, עבור כל $\lambda$ כאשר $|\lambda |<{\frac {1}{K_{5}}}$, מתקיים: $E[e^{\lambda X}]\leq e^{K_{5}^{2}\lambda ^{2}}$.
5. אם קיים משתנה ${\sqrt {X}}$ שהוא תת-גאוסי

תכונות

• סכום משתנים תת-מעריכיים: אם $X$ ו-$Y$ הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם הסכום שלהם $X+Y$ הוא תת-מעריכי.

• יציבות תחת מקסימום: התפלגויות תת-מעריכיות הן יציבות תחת מקסימום. כלומר, אם $X_{1},X_{2},\ldots ,X_{n}$ הם משתנים מקריים תת-מעריכיים בלתי תלויים, אז גם $\max(X_{1},X_{2},\ldots ,X_{n})$ הוא תת-מעריכי.
  • הוכחה: ניתן להוכיח זאת באמצעות חסם האיחוד וההגדרה הראשונה של התפלגות תת-מעריכית:

$\mathbb {P} (\max(X_{1},\ldots ,X_{n})>t)\leq \sum _{i=1}^{n}\mathbb {P} (X_{i}>t)\leq 2ne^{-{\frac {t}{\max(K_{1},\ldots ,K_{n})}}}$, כאשר $K_{i}$ הם פרמטרי התת-מעריכיות של המשתנים.

נורמות

נורמת אורליץ

נורמת אורליץ של משתנה מקרי מוגדרת באמצעות פונקציית אורליץ $\Psi$ לפי הנוסחה:

$\|X\|_{\Psi }\triangleq \inf\{K>0\mid \mathbb {E} [\Psi (|X|/K)]\leq 1\}$.

$\Psi$ תקרא פונקציית אורליץ והיא תקיים את התכונות הבאות:

• $\Psi$ פונקציה קמורה
• $\Psi$ פונקציה מונוטונית לא יורדת
• מוגדרת על המספרים האי-שליליים ($\mathbb {R} ^{+}$)
• ומקיימת $\Psi (0)=0$, $lim_{x\to \infty }\Psi (x)=\infty$

מקרים מיוחדים של פונקציית $\Psi$:

• כאשר $\Psi (x)=x^{p}$, הנורמה התקבלת היא נורמת $L_{p}$ של המשתנה המקרי.
• עבור הפונקציות $\Psi _{q}(x)=\exp(x^{q})-1$ (לכל $q\geq 1$), מדובר במשפחה המעריכית של פונקציות אורליץ. משתנה מקרי עם נורמת $\Psi _{2}$ סופית נחשב למשתנה תת-גאוסי, ומשתנה עם נורמת $\Psi _{1}$ סופית נחשב למשתנה תת-מעריכי.

נורמה תת-מעריכית

הנורמה התת-מעריכית היא דוגמה לנורמת אורליץ כאשר $\Psi _{1}(x)=\exp(x)-1$, מסומנת כ-$\|\cdot \|_{\psi _{1}}$, של משתנה מקרי מוגדרת על ידי:$\|X\|_{\psi _{1}}:=\inf\{K>0\mid \mathbb {E} (e^{|X|/K})\leq 2\}$,

על סמך ההגדרה השקולה הראשונה, אם הנורמה סופית המשתנה הוא תת-מעריכי.

נורמה תת-גאוסית

הנורמה התת-גאוסית היא דוגמה לנורמת אורליץ כאשר $\Psi _{2}(x)=\exp(x^{2})-1$ , מסומנת כ-$\|\cdot \|_{\psi _{2}}$, של משתנה מקרי מוגדרת על ידי:$\|X\|_{\psi _{2}}:=\inf\{K>0\mid \mathbb {E} (e^{X^{2}/K^{2}})\leq 2\}$.

הקשר בין משתנה מקרי תת-גאוסי למשתנה מקרי תת-מעריכי

• כל משתנה $X$ שהוא תת גאוסיאני הוא גם משתנה מקרי תת מעריכי
• אם $X$ הוא משתנה מקרי תת-מעריכי, אז המשתנה $X^{2}$ הוא משתנה מקרי תת-גאוסי, ומתקיים ש:$\|X^{2}\|_{\psi _{1}}=\|X\|_{\psi _{2}}^{2}$.
  • טענה זאת נובעת ישירות מהגדרת הנורמות
• אם $X$ ו-$Y$ הם משתנים מקריים תת-גאוסיים, אז המכפלה שלהם, $XY$, היא משתנה מקרי תת-מעריכי, ומתקיים $\|XY\|_{\psi _{1}}\leq \|X\|_{\psi _{2}}\cdot \|Y\|_{\psi _{2}}$.

משפטים

אי שיוויון ברנשטיין

אי שיוויון ברנשטיין מספק חסם על הזנב של סכום של משתנים מקריים תת-מעריכיים עצמאיים עם תוחלת אפס.

נניח ש-$X_{1},X_{2},...,X_{N}$ הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. אזי, לכל $t\geq 0$, מתקיים:

$\Pr \left(\sum _{i=1}^{N}X_{i}\geq t\right)\leq 2\exp \left(-c\min \left({\frac {t^{2}}{\sum _{i=1}^{N}\|X_{i}\|_{\psi _{1}}^{2}}},{\frac {t}{\max _{i}\|X_{i}\|_{\psi _{1}}}}\right)\right)$,

כאשר $c>0$.

אי-שוויון ברנשטיין עבור התפלגויות חסומות

נניח ש-$X_{1},X_{2},...,X_{N}$ הם משתנים מקריים תת-מעריכיים בלתי תלויים עם תוחלת אפס. נניח גם כי המשתנים חסומים, כלומר $|X_{i}|\leq K$ לכל $i$, עבור קבוע $K>0$. אז עבור כל $t\geq 0$, אי-שוויון ברנשטיין קובע כי:

$\mathbb {P} \left(\sum _{i=1}^{N}X_{i}\geq t\right)\leq 2\exp \left(-{\frac {t^{2}}{2\sigma ^{2}+{\frac {2Kt}{3}}}}\right),$

כאשר $\sigma ^{2}=\sum _{i=1}^{N}\mathbb {E} [X_{i}^{2}]$ היא סכום השונויות.

התפלגויות מוכרות

• ההתפלגות מעריכית היא התפלגות תת מעריכית
• התפלגות וייבול כאשר $k\geq 1$:
  • פונקציית ההסתברות המצטברת שלה היא:$F(x;k,\lambda )={\begin{cases}1-\exp \left(-\left({\frac {x}{\lambda }}\right)^{k}\right)&x\geq 0,\\0&x<0.\end{cases}}$
  • זנב ההתפלגות מקיים: $\mathbb {P} (|X|>x)=\mathbb {P} (X>x)=1-F(x)=\exp \left(-\left({\frac {x}{\lambda }}\right)^{k}\right)$
  • עבור $k=1$: $\mathbb {P} (|X|>x)=\exp \left(-{\frac {x}{\lambda }}\right)$ כלומר, מדובר בקצב דעיכה מעריכי בדיוק, כאשר הקבוע הוא הפרמטר $\lambda$. לכן, כאשר $k=1$, התפלגות וייבול היא תת-מעריכית (זהה להתפלגות מעריכית).
  • עבור $k>1$, מתקיים:$\mathbb {P} (|X|>x)=\exp \left(-\left({\frac {x}{\lambda }}\right)^{k}\right)$ ביטוי זה דועך מהר יותר מאקספוננט שלילי פשוט, כלומר גם במקרה זה ההתפלגות היא תת-מעריכית.
  • עבור $k<1$, תנאי זה לא מתקיים, ולכן התפלגות וייבול אינה תת-מעריכית במקרים אלו.

• כל התפלגות תת-גאוסית

לקריאה נוספת

• High-Dimensional Probability: An Introduction with Applications in Data Science, Roman Vershynin, University of California, Irvine, June 9, 2020