רשת זרימה קדימה

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה לניווט קפיצה לחיפוש

רשת זרימה קדימה (באנגלית: Feedforward neural network) היא רשת עצבית מלאכותית שבה קשרים בין צמתים אינם יוצרים מעגלים.[1]

רשתות זרימה קדימה היו הסוג הראשון והפשוט ביותר של רשתות נוירונים מלאכותיות[2]. ברשת כזו, המידע זורם רק בכיוון אחד, קדימה, מצמתי הקלט, דרך הצמתי החבויים (באם קיימים) אל צמתי הפלט, ללא מעגלים או לולאות עצמיות.

פרספטרון רב-שכבתי[עריכת קוד מקור | עריכה]

רשת עצבית דו-שכבתית אשר מחשבת את הפעולה XOR. המספר על כל צומת מסמן את ערך הסף שלו, כך שהפלט של הצומת יהיה 1 אם הערך שהגיע לנוירון עובר את ערך הסף, ו-0 אחרת. המספרים על הקשתות הם המשקלים שמכפילים את הערך של לכל נוירון. 

בפרספטרון רב שכבתי כל נוירון בשכבה אחת מקושר לנוירונים בשכבה הבאה. כל נוירון מקבל ערך על ידי סכום כל הקישורים הנכנסים אליו, ובמקרים רבים הוא מפעיל גם פונקציית הפעלה (אקטיבציה) לא-ליניארית כדוגמת סיגמואיד או ReLU.

לפי משפט הקירוב האוניברסלי לכל פונקציה אשר ממפה רצף של מספרים ממשיים לרצף אחר של מספרים ממשיים ניתן למצוא קירוב טוב ככל שנרצה על ידי פרספטרון רב-שכבתי שבו רק שכבה חבויה אחת. 

קיימות שיטות רבות לאימון של רשתות רב שכבתיות, הידועה והמוצלחת מביניהן היא מורד הגרדיאנט. בשיטה זו, משווים את ערכי החיזוי של הרשת לתשובות הנכונות ומסיקים את הערך של פונקציית-שגיאה מוגדרת מראש. לאחר מכן, מזרימים את השגיאה לאחור ומעדכנים את המשקלים של הרשת בהתאם כדי להקטין את פונקציית השגיאה המחושבת במידה מסוימת. לאחר ביצוע של תהליך זה למשך מספר רב של פעמים באופן איטרטיבי, לרוב הרשת תתכנס לערך שגיאה נמוך מספיק, ברגע זה ניתן להגדיר שהרשת למדה. כיוון שרשתות נוירונים מקרבות פונקציות לא-ליניאריות, לא ניתן לפתור אותם באופן אנליטי ולכן משתמשים בשיטת האופטימיזציה של מורד הגרדיאנט. לשם כך מחשבים את הגרדיאנט של פונקציית השגיאה כפרמטר של המשקלים על הרשת, על ידי כלל השרשרת, ולאחר מכן כל משקל מוזז מעט לכיוון ההופכי לגרדיאנט, כלומר הקטנה מרבית של פונקציית השגיאה. זו היא גם הסיבה לכך שכל הרכיבים ברשתות עצביות - ובפרט פונקציית האקטיבציה - חייבים להיות גזירים

ראו גם[עריכת קוד מקור | עריכה]

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ Zell, Andreas (1994). Simulation Neuronaler Netze [Simulation of Neural Networks] (בגרמנית) (מהדורה ראשונה). Addison-Wesley. עמ' 73. ISBN 3-89319-554-8. 
  2. ^ "Deep learning in neural networks: An overview". Neural Networks (באנגלית) 61: 85–117. 1 בינואר 2015. ISSN 0893-6080. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003.