ALOPEX

ALOPEX הוא אלגוריתם למידת מכונה מבוסס מתאם שהוצע לראשונה על ידי אוונגליה מיכלי-צאנאקו והארת' ב-1974.

עיקרון

בלמידת מכונה, המטרה היא לאמן מערכת למזער פונקציית עלות או (בהתייחס ל-ALOPEX) פונקציית תגובה. אלגוריתמי אימון רבים, כגון חלחול לאחור (Backpropagation), נוטים להיתקע במינימומים או מקסימומים מקומיים של פונקציית התגובה. ALOPEX משתמש במתאם צולב של הפרשים ובתהליך סטוכסטי כדי להתגבר על כך, בניסיון להגיע למינימום (או מקסימום) המוחלט של פונקציית התגובה.

שיטה

ALOPEX, בצורתו הפשוטה, מוגדר על ידי משוואת עדכון:

$\Delta \ W_{ij}(n)=\gamma \ \Delta \ W_{ij}(n-1)\Delta \ R(n)+r_{i}(n)$

כאשר: *$n\geq 0$ הוא השלב או צעד הזמן. *$\Delta \ W_{ij}(n)$ הוא ההפרש בין הערך הנוכחי לערך הקודם של משתנה המערכת $\ W_{ij}$ בשלב $n$. *$\Delta \ R(n)$ הוא ההפרש בין הערך הנוכחי לערך הקודם של פונקציית התגובה $\ R,$ בשלב $n$. *$\gamma$ הוא פרמטר קצב הלמידה ($\gamma \ <0$ ממזער את $R,$ ו-$\gamma \ >0$ ממקסם את $R\ )$. *$r_{i}(n)\sim \ N(0,\sigma \ ^{2})$

דיון

ביסודו של דבר, ALOPEX משנה כל משתנה מערכת $W_{ij}(n)$ בהתבסס על מכפלה של: השינוי הקודם במשתנה $\Delta$$W_{ij}(n-1)$, השינוי שנוצר בפונקציית העלות $\Delta$$R(n)$, ופרמטר קצב הלמידה $\gamma$. יתרה מזו, כדי למצוא את המינימום (או המקסימום) המוחלט, התהליך הסטוכסטי $r_{ij}(n)$ (גאוסי או אחר) מתווסף כדי "לדחוף" את האלגוריתם באופן סטוכסטי אל מחוץ למינימומים מקומיים.

הפניות

• הארת', א., וצאנאקו, א. (1974) Alopex: שיטה סטוכסטית לקביעת שדות קליטה חזותיים. Vision Research, 14:1475-1482. תקציר מ-ScienceDirect