היסטוריה של הבינה המלאכותית
ההיסטוריה של הבינה המלאכותית עוסקת בחקר ובתיעוד התפתחות הידע והטכנולוגיה בנושא הבינה המלאכותית במהלך השנים.
בינה מלאכותית היא שם כולל לדרכי שימוש במידע ובמערכות מחשב, המאפשרות להציג התנהגות שנראית אינטליגנטית, או ליצור ידע ותובנות שלא היו קיימים קודם לכן. לפי כך, אבי וחלוץ חזון הבינה המלאכותית ג’ון מקארתי הגדיר את הבינה המלאכותית כ"מדע התכנון והפיתוח של מכונות ומערכות ממחושבות המדמות את יכולות החשיבה האנושית והמסוגלות לבצע משימות שונות".[1]
זהו תחום חשוב ופורץ דרך משום שבפעם הראשונה בהיסטוריה, מערכות מחשב מפגינות יכולות שנחשבו באופן מסורתי לאנושיות בלבד כגון הבנה, הנמקה, תפיסה או תקשורת, ומבצעות ביעילות, במהירות ובדייקנות משימות מגוונות ללא התערבות אנושית.
למרות שהרעיון של יצירת מכונה בעלת חשיבה עצמאית ויכולות אנושיות העסיק את הדמיון האנושי זה כבר אלפי שנים, וסיפורים ומיתוסים בנושא הופיעו כבר מראשיתן של הציוויליזציות העתיקות, תפיסת הבינה המלאכותית ויישומה כפי שהם מוכרים לנו התפתו רק במאה השנים האחרונות. מימוש חלומות אלה דרש שנים רבות של פיתוח חומרה ותוכנה, מיפוי שיטתי של תהליכי החשיבה וקבלת ההחלטות והגדרת אבני היסוד של השפה הטבעית.
המכונות "החכמות"
[עריכת קוד מקור | עריכה]מיתוסים וסיפורי עם (אגדות)
[עריכת קוד מקור | עריכה]במיתולוגיה היוונית, מתואר ענק בנוי מברונזה בשם טאלוס ששימש כשומר של האי כרתים. הוא היה זורק סלעים על ספינות הפולשים והיה מקיף כול יום את האי שלוש פעמים.[2]
הומרוס, בספריו איליאדה ואודיסיאה מתאר כיצד הפייסטוס, אל האומנים, הנפחים והרי הגעש במיתולוגיה היוונית, יצר בובות עשויות זהב בדמות משרתות שתמכו בו בהליכה, ואריות וכלבים עשויים זהב וכסף, אשר לא הזדקנו ולא מתו, ששמרו על הכניסה לארמונו של אלקינוס.
אגדה עממית יהודית המספרת על הגולם מפראג, בובת אדם בנויה מבוץ, שנוצר בידי רבי יהודה ליווא, המהר"ל מפראג, בן המאה ה-16. הגולם תיפקד ככל האדם - ראה, שמע והבין - אך לדבר לא יכול היה. מהר"ל בלבד הפעיל את הגולם, באמצעות פיסת קלף שהניח מתחת לשונו ועליה שם ה'. מדי לילה היה הגולם יוצא לרחובות פראג וחושף עלילות ומזימות כנגד יהודי העיר. הוא עשה זאת בהתמדה, במצוות הרבי, תוך הצלת יהודים רבים.[3]
היוונים טבעו את המונח אוטומט (ביוונית αὐτόματον) שפירושו פועל על פי רצונו, לתיאור בובות מכניות או התקנים מכניים בעלי יכולת תנועה וביצוע משימות פשוטות קבועות מראש. המתקנים הופעלו על ידי לחץ אוויר, קיטור או מים. השליטה בסדר התנועות הושגה באמצעות גלגלי שיניים, ושילוב של חבלים קשורים לתוף עליו הוטבעו זיזים.
הופעתם והתפתחותם של ההתקנים האוטומטיים
[עריכת קוד מקור | עריכה]במאה הראשונה לספירה, הרון מאלכסנדריה המציא את מכונת הממכר הראשונה. המכונה מזגה כמות קבוע של מים קדושים כאשר הוכנס מטבע לחריץ.[4] הוא המציא גם את התיאטרון היווני האוטומטי - מחזה בן עשר דקות בו השתתפו בובות שהופעלו על ידי תוכנית קבועה מראש המבוססת על סיבובו תוף עלין הוטבעו זיזים.[5]
במאה השנייה לספירה נבנה ביוון ה"אנטיקיתרה", מנגנון דמוי אצטרולב ששימש לחישוב מיקומים אסטרונומיים של גרמי שמיים, ליקויי חמה ולבנה, ואירועים נוספים הקשורים בלוח השנה.[6]
במאה ה-9 לספירה בבגדאד, האחים ממוצא פרסי בנו מוסא תיארו בספרם "כתאב אל-חִייל" (בערבית كتاب الحيل ; מילולית: ספר הטריקים) מאה המצאות, מתוכן עשרים וחמש בעלות שימוש מעשי, שהיו מבוססות על שסתומים אוטומטיים, זכרונות מכניים, אביזרים שפעלו על בסיס משוב ומנגנוני השהייה.[7]
בימי הביניים, בשנת 1206, איסמעיל אל-ג'זארי פרסם את החיבור "ספר הידע של התקנים מכניים גאוניים" (בערבית: الجامع بين العلم والعمل النافع في صناعة الحيل) שבו תיאר חמישים התקנים מכניים מסוגים שונים, יחד עם הוראות כיצד לבנות אותם, ביניהם תזמורת מופעלת בכוח המים שיכלה לשוט על אגם ולנגן במסיבות. התזמורת הייתה מורכבת מנגן חליל, שני מתופפים ונגן נבל. הצלילים הופקו באמצעות תוף מסתובב עליו הותקנו יתדות שהפעילו פטישים שהפיקו צלילים שונים. את התוף אפשר היה להחליף כדי להפיק שירים שונים. היו שכינו המצאה זאת "המחשב הראשון הניתן לתכנות".[8]
בשנת 1642, בלז פסקל המציא מכונת חישוב, שהייתה מסוגלת לבצע חיבור וחיסור בלבד (הפסקלין).[9] בשנת 1672, גוטפריד וילהלם לייבניץ שיפר את מכונת החישוב של בלז פסקל והוסיף לה פונקציות של כפל וחילוק.[10]
לאונדרו דה וינצ'י תכנן התקנים אוטומטיים רבים, ביניהם אדם מלאכותי בצורת אביר גרמני. בעזרת ארכובה, חבלים וגלגלות אפשר היה לגרום לו לשבת, לעמוד, לסובב את הראש ואף להרים את מגן הפנים. בשנת 2002 מארק רושהיים מנאס"א הצליח לבנות גרסה מתפקדת על פי התוכניות שנמצאו.
בשנת 1800, ז'וזף מארי ז'אקארד יצר נול ניתן לתכנות, הנול של ז'אקאר, המבוסס על המצאות מוקדמות יותר. נול זה איפשר שליטה ברצף הפעולות בתהליך האריגה באמצעות כרטיסים מנוקבים.[11] לכל דגם אריג היו כרטיסים מנוקבים ייחודיים.
במהלך מאה השנים הבאות טכנולוגית כרטיסי הניקוב הפכה לכלי רב משמעות בתחום עיבוד הנתונים. השימוש בכרטיסים מנוקבים היה נפוץ בתעשייה, בממשלה, באוניברסיטאות, ובמוסדות רבים שעסקו בביצוע חישובים מורכבים.
מחשבים ושפות תכנות
[עריכת קוד מקור | עריכה]המחשבים הראשונים המיועדים לביצוע חישובים מורכבים תוכננו על ידי המתמטיקאי צ'ארלס בבג' בין השנים 1822 – 1871. המחשבים לא נבנו באותן שנים בגלל היעדר מימון, אך נבנו מאה שנה לאחר מכן והוצבו במוזיאון המדע בלונדון. הראשונים ביניהם היו שתי גרסאות של מנוע ההפרשים, מחשבון מכני ספרתי המיועד לפתור משוואות פולינומיות. השלישי היה המנוע האנליטי, מתקן מכני, שמונע על ידי מנוע קיטור, והיה בנוי מגלגלי שיניים, גלי זיזים ומתקנים מכניים נוספים. ההוראות והנתונים להפעלתו הוזנו באמצעות כרטיסים מנוקבים, ותוצאות החישוב הודפסו במדפסת.[12]
המתמטיקאית האנגליה, עדה לאבלייס שכונתה המתכנתת הראשונה, שהייתה בקשר הדוק עם צ'ארלס בבג' כתבה עבור המנוע האנליטי אלגוריתם לחישוב מספרי ברנולי, בצורת פקודות שמתבצעות בזו אחר זו בדומה לקוד מחשב מודרני.
בשנת 1936, הציע אלן טיורינג מודל של מכונה אוטומטית אוניברסלית – מכונת טיורינג – שיכולה לבצע כל פעולה חישובית בעזרת פקודות מקודדות שהיא מקבלת מסרט אינסופי המשמש גם כקלט וגם כפלט. מכונה זו הייתה המודל התאורטי לפיתוח המחשב הספרתי הראשון בארצות הברית באמצע המאה העשרים.
המהנדס הגרמני קונרד צוזה בנה בשנת 1941 מחשב הניתן לתכנות באמצעים אלקטרומכניים. זאת הייתה הגרסה השלישית של מחשבי ה-Z עליהם הוא עבד החל משנת 1938. [13]
המחשבים שנבנו לפני שנת 1949 יכלו לבצע פקודות אך היו חסרים את היכולת לאחסן את הפקודות. במילים אחרות, לא יכלו לזכור מה עשו לכן לא היו מתאימים לפיתוח יישומי בינה מלאכותית.
אלן טיורינג האמין שיהיה אפשר להשתמש במחשבים לצורך חיקוי פעולתו של המוח האנושי. בשנת 1950 הוא פרסם מאמר מכונן בשם "מכונות חישוב ואינטליגנציה" העוסק בכך בהרחבה. הוא הציע גם מבחן, המכונה מבחן טיורינג, שעל פיו אפשר יהיה לקבוע אם מכונה מסוימת "מתנהגת בצורה אינטליגנטית".
התקופה שבין 1940 - 1960 התאפיינה בהתפתחות מהירה של הטכנולוגיה, בהשפעת מלחמת העולם השנייה, והרצון לשלב בין פעילותן של מכונות ושל יצורים חיים.
הרברט א. סיימון, קליף שו ואלן ניואל כתבו בשנת 1956 את התוכנה Logic Theorist (אנ') הנחשבת לתוכנת הבינה המלאכותית הראשונה שהייתה מסוגלת להפעיל שיקול דעת ולפתור בעיות באופן אוטומטי. היא הוכיחה 38 מתוך 52 המשפטים הראשונים ב-Principia Mathematica של ברטראנד ראסל ואלברט נורת' וייטהד, ומצאה הוכחות חדשות ואלגנטיות יותר עבור חלקם. לצורך כתיבת התוכנה הזאת ולאחר מכן, בשנת 1957, את "פותר הבאיות הכללי" (General Problem Solver) (אנ') הם פיתחו את שפת התיכנות העילית IPL (אנ').[14]
החשיבה הפורמלית
[עריכת קוד מקור | עריכה]התבונה האנושית והתרבות האנושית פיתחו מערכת חשיבה פורמלית לזיהוי תבניות, לסיווגן ולניצולן לצורך פיתוח מנגנון חשיבה לוגי. הבינה המלאכותית מבוססת על ההנחה שניתן למפות את שלבי תהליך חשיבה האנושית ולתרגם אותו לתוכנית מחשב.
גוטפריד וילהלם פון לייבניץ,(1646 – 1716) מתמטיקאי, פילוסוף, פיזיקאי ואיש אשכולות גרמני הגה את רעיון ה"אלף-בית של החשיבה האנושית" (אנ') שהציע דרך אוניברסלית לייצוג וניתוח רעיונות וקשרים באמצעות פירוקם למרכיביהם הבסיסיים. לדעתו כל הרעיונות מורכבים ממספר קטן מאוד של רעיונות פשוטים אותם ניתן לייצג באמצעות תו ייחודי.[15]
עבודתו התבססה על רעיונות שפותחו קודם לכן על ידי הפילוסוף והמתמטיקאי צרפתי רנה דקרט (1596 – 1640) ועל ידי רמון ליול (1232 – 1315), מדען, מיסטיקן, פילוסוף ומיסיונר נוצרי מן האיים הבלאריים.
הרברט סיימון ואלן ניואל (אנ') סברו שמחשבים ספרתיים הם סוג של מערכת סמלים פיזיקליים (אנ'), דהיינו מערכת המגדירה קבוצה של סמלים, שאותם אפשר לחבר לביטויים, שעליהם אפשר להפעיל מניפולציות שונות כדי לייצר מהם, בצורה לוגית ועקבית, ביטויים חדשים. לפיכך, מבחינה תאורטית תוכנה המותקנת במחשבים ספרתיים יכולה לחקות את דרך הפעולה של החשיבה האנושית, שגם היא פועלת בדרך דומה. השערה זאת שכונתה היפותזת ה־PSSH סללה את הדרך לבניית מערכות המומחה.
הבינה המלאכותית
[עריכת קוד מקור | עריכה]
ערך מורחב – בינה מלאכותית
המונח "בינה מלאכותית" הוצג רשמית על ידי ג'ון מקארתי בשנת 1956 במהלך סדנת דארטמות',[16] אירוע שסימן את הכרתה הרשמית של הבינה המלאכותית כדיסציפלינה אקדמית. מטרתה של סדנה זו הייתה להניע את המחקר והפיתוח בתחום, כדי לאפשר יצירת מכונות המסוגלות לדמות אינטליגנציה אנושית.
הרובוטים, ובכלל זה כל יישומי הבינה המלאכותית, נבדלים מהמכונות ה"חכמות" בכך שהם מסוגלים לשפר את ביצועיהם בתגובה למשוב שמתקבל מהסביבה. במילים אחרות, מערכות הבינה המלאכותית מסוגלות ללמוד ולהפיק לקחים מתוך נתוני העבר, לקבל באופן עצמאי החלטות, לבצע תחזיות ולשפר ולייעל את ביצועיהן מבלי שתוכנתו לכך מראש. יכולת זאת נסמכת על רשתות עצביות מלאכותיות ועל האלגוריתמים של למידת מכונה.
רשתות עצביות מלאכותיות
[עריכת קוד מקור | עריכה]- ערך מורחב – רשת עצבית מלאכותית
רשת עצבית מלאכותית היא מודל מתמטי חישובי שפותח בהשראת תהליכים מוחיים או קוגניטיביים המתרחשים ברשת עצבית טבעית.
רשתות עצביות מלאכותיות משמשות ליצירת מודלים לניבוי התנהגות עתידית, לבקרה מסתגלת ולפתרון בעיות בבינה מלאכותית, מאחר שהן מסוגלות ללמוד מהניסיון ולהסיק מסקנות מתוך קבוצה מגוונת של פרטי מידע שנראים לכאורה לא קשורים זה לזה. הלמידה מתבצעת על ידי ניתוח מספר רב של דוגמאות שתויגו מראש על ידי המתכנתים. מרבית הרשתות העצביות מאורגנות בצורת שכבות של צמתים דרכם המידע זורם קדימה בכיוון אחד בלבד, אך ישנן גם רשתות בעלות זרימה דו כיוונית ורשתות בהן קיימת זרימה לאחור.
הסוג הפשוט של רשת עצבית מלאכותית הוא הרשת הליניארית. קרל פרידריך גאוס (1795) ואדריאן-מארי לֶזַ'נדְר (1805) השתמשו בה לצורך ניבוי תנועת הכוכבים.
בשנת 1944 וורן מק'קולוך (אנ') יחד עם וולטר פיטס (אנ') מאוניברסיטת שיקגו הציגו את התיאור המתמטי הראשון של רשת עצבית מלאכותית בעבודתם A Logical Calculus of the Ideas Immanent in Nervous Activity.[17] לרשת היו ספים ומשקלים אבל הם לא סודרו בשכבות ולא הוצע עבורה מנגנון אימון. כוונת החוקרים הייתה להראות שאפשר לדמות את מוח האדם למחשב. רשתות עצביות התפתחו כתחום מחקר במדעי המוח ובמדעי המחשב עד שנת 1969.[18]
הרשת העצבית הראשונה הניתנת לאימון הייתה הפרספטרון שהוצג בשנת 1957 על ידי הפסיכולוג האמריקאי פרנק רוזנבלט (אנ'). בשנת 1959 מרווין מינסקי וסימור פאפרט הראו בספרם Perceptrons: an introduction to computational geometry (אנ') שהשימוש בפרספטרונים לצורך ביצוע חישובים יהיה לא מעשי ולא יעיל.
שיפור משמעותי בביצועי הרשתות העצביות הושג לאחר התבססות פיתוח אלגוריתמים של "זרימה לאחור" (backpropagation).
כריס קראפט, (הנרי ג' קלי) בשנת 1960 ולאחר מכן פרנק רוזנבלט בשנת 1962, הגו את רעיון תיקון שגיאות החישוב של רשת עצבית על ידי ניתוח הטעויות שבוצעו בשלבים קודמים של התהליך. אלגוריתם המיטוב זכה לשם "הזרמה לאחור" (backpropagation) (אנ') והוא מתבסס על כלל השרשרת שנוסח על ידי לייבניץ בשנת 1673.
בשנת 1970, המתמטיקאי הפיני ספו ליננאינמה (אנ'), תיאר בעבודתו לתואר שני את השימוש בשיטת ההזרמה לאחור בחישוב נגזרת של פונקציה.[19]
בשנת 1974,פול ורבוס (אנ') תיאר בעבודת הדוקטורט שלו שיטה לאימון רשתות עצביות מלאכותיות תוך שימוש בתהליך ההזרמה לאחור.[20] תהליך זה הוצג שוב בשנת 1986 על ידי הפסיכולוג האמריקאי דוד רומלהרט (אנ') בעבודתו Learning representations by back-propagating errors.[21]
בין השנים 1969 – 1980 בתקופה שכונתה "החורף של הבינה המלאכותית" (אנ') חלה האטה משמעותית בהתעניינות הציבורית ביישומי בינה מלאכותית ובמימון מחקרים בתחום. חוקרים מעטים בלבד המשיכו לחקור ולנסות לפתח אלגוריתמים ותפיסות יעילים יותר עבור רשתות עצביות מלאכותיות.[22]
פיתוח המוליכים למחצה מסוג MOS ו-CMOS יחד עם פיתוח טכנולוגיית VLSI ופיתוח המעבדים הגרפיים יצרו את תשתית החומרה הנחוצה לבניית רשתות עצביות מהירות ויעילות. ההתקדמות בתחום החומרה יחד עם פיתוח אלגוריתמים יעילים עבור רשתות מרובות שכבות הובילו להתקדמות משמעותית בתחום.
סוגי רשתות עצביות
[עריכת קוד מקור | עריכה]רשת משוב (recurrent network) (אנ')
[עריכת קוד מקור | עריכה]בשנת 1982, המדען האמריקאי ג'ון ג'וזף הופפילד הציע להשתמש במודל איזינג דינמי כקרוב ראשון של רשת עצבית המסוגלת ללמוד (רשת הופפילד).[23] מודל איזינג פורסם בשנת 1925 על ידי הפיזיקאים הגרמנים וילהלם לנץ (אנ') וארנסט איזינג (אנ') ושופר על ידי המהנדס ומדען המוח היפני אמארי שוניצ'י (אנ') בשנת 1972. רשתות משוב נמצאות בשימוש בעיקר בתחום עיבוד שפות טבעיות וזיהוי דיבור.
רשת Long short-term memory (אנ')
[עריכת קוד מקור | עריכה]הרשת הוצגה על ידי מדעני המחשב הגרמנים ספ הוכרייטר (אנ') ויורגן שמידהובר (אנ') בשנת 1997. זאת גרסה משופרת של רשת משוב המתאימה במיוחד למשימות הקשורות לסדרות עתיות והבנת התלות בסדר, הכרחיות לפתרון בעיות מורכבות כגון תרגום מכונה וזיהוי דיבור.[24]
רשת עצבית מתקפלת (Convolutional Neural Network)
[עריכת קוד מקור | עריכה]רשת קונבולוציה הוצגה בשנת 1980 על ידי מדען המחשב קוניהיקו פוקושימה (אנ'). בשנת 1988 יאן לקון, חוקר ממעבדות נוקיה בל, הציג גרסה משופרת של המודל, שהייתה מסוגלת לזהות ספרות בכתב יד. מחסור במאגרי מידע גדולים ומפותחים, דבר הכרחי לאימון בינה מלאכותית מסוג זה, ומחסור בחומרה חזקה מנעו את התפתחות התחום. בשנת 2012 AlexNet, שפותחה על ידי אלכס קריזבסקי (אנ') בשיתוף עם איליה סוצקבר וג'פרי הינטון באוניברסיטת טורונטו, תוך שילוב בין רשת קונבולוציה למעבד גרפי, זכתה בתחרות זיהוי תמונות. רשתות מסוג זה נמצאות בשימוש בעיבוד תמונה וראיה ממוחשבת ובמערכות המלצה, עיבוד שפה טבעית וממשק מוח-מחשב.[25]
(CNN) Cellular neural networks (אנ')
[עריכת קוד מקור | עריכה]רשת CNN היא רשת עצבית מלאכותית בה מתאפשרת תקשורת בין יחידות סמוכות בלבד. הרעיון הוצג על ידי מהנדס האלקטרוניקה ומדען המחשב האמריקאי ליאון צ'ואה (אנ') ולין יאנג בשנת 1988. יישומים אופייניים כוללים עיבוד תמונה, ניתוח משטחים תלת-ממדיים, פתרון משוואות דיפרנציאליות חלקיות, מידול ראייה ביולוגית ואיברים סנסוריים-מוטוריים אחרים.[26]
מודל שפה גדול (Large Language Model)
[עריכת קוד מקור | עריכה]מודל שפה גדול מאומן על כמויות גדולות של טקסט לא מתויג בשיטת למידה לא מונחית. מודלי השפה הגדולים החלו להופיע בסביבות 2018 כאשר מחקר עיבוד השפה הטבעית עבר להתמקד בפיתוח מודלים אלו, לאחר שהיה ממוקד באימון מודלים של למידה מונחית מותאמת למשימות ספציפיות.
מודלי שפה גדולים מהווים את ה"מוח" שמאחורי צ'אטבוטים דוגמת ChatGPT, המבוסס על מודלי GPT-3 ו-GPT-4, ובארד של גוגל, המבוסס על מודל PaLM 2.[27]
טרנספורמר
[עריכת קוד מקור | עריכה]טרנספורמר היא ארכיטקטורה של למידה עמוקה המבוססת על מנגנון קשב רב-ראשי שהוצעה בשנת 2017 במאמר בשם "Attention Is All You Need (אנ').
ארכיטקטורה זאת פותחה במטרה לפתור בעיות בעיבוד רצפים של נתונים (sequence-to-sequence transcription) (אנ').[28]
הרשת העצבים טרנספורמר מסוגלת "להבין" ו"ללמוד" את משמעותו של רצף נתונים, על ידי מעקב אחר היחסים בין הנתונים המוזנים בו, דוגמת מילים במשפט. מודלים של רשת טרנספורמר משתמשים בטכניקות מתמטיות מתפתחות, המכונות "קשב" (attention) או "קשב עצמי" (self-attention) כדי לגלות כיצד נתונים סמוכים או מרוחקים זה מזה ברצף תלויים זה בזה ומשפיעים זה על זה.
מודלים של Seq2Seq הביאו להתקדמות משמעותית במשימות הקשורות בעיבוד שפה טבעית כגון תרגום מכונה, עיבוד טקסטים וזיהוי דיבור. מודלים המבוססים על הארכיטקטורה טרנספורמר יעילים יותר מהמודלים המבוססים על רשתות משוב או על רשתות מתקפלות, לכן מרבים להשתמש בהם לצורך אימון מודלי שפה גדולים על מאגרי טקסט גדולים.[29]
בינה מלאכותית יוצרת היא תחום של בינה מלאכותית המתמחה ביצירת תוכן חדש כגון טקסט, תמונות או מדיה אחרת. באמצעות מודלים ג'נרטיביים הלומדים דפוסים ממאגרי נתוני גדולים יוצרים תוכן חדש על סמך הלמידה הזאת.
בינה מלאכותית יוצרת
[עריכת קוד מקור | עריכה]בינה מלאכותית יוצרת שולבה בשנות ה-60 של המאה העשרים בצ'טבוטים אבל הצלחתה בשוק נרשמה רק בשנת 2014 עם הופעת המודל הגנרטיבי ללמידת מכונה GAN שהוצב על ידי איאן גודפלו ועמיתיו, ולאחר מכן הופעת הארכיטקטורה טרנספורמר וההתקדמות במודלי שפה גדולים.
בין היישומים הבולטים של בינה מלאכותית יוצרת אפשר לציין את הצ'ט בוטים ChatGPT ובארד שעוברים שיפורים מתמידים ואת המודלים ללמידה עמוקה שיוצרים תמונה על בסיס טקסט Midjourney שפורסם ב-12 ביולי 2022 בגרסת בטא פתוחה על ידי החברה באותו שם, StableDiffusion, תוכנה חופשית וקוד פתוח שיצאה לשוק בשנת 2022 ו-Dall-E של חברת OpenAI שנחשפה לראשונה בשנת 2021. הגרסה Dall-E 3 שוחררה בשנת 2023 כחלק מ־ChatGPT עבור לקוחות ChatGPT Plus ו־ChatGPT Enterprise.[30]
למידת מכונה
[עריכת קוד מקור | עריכה]- ערך מורחב – למידת מכונה
האבות המייסדים של הבינה המלאכותית הניחו את הבסיס התאורטי לאלגוריתמים של למידת מכונה, הנמצאים בשימוש במערכות רבות בנות זמננו. בלמידת מכונה, האלגוריתמים נסמכים על למידה סטטיסטית מבוססת מאגרי נתונים גדולים. בשונה מהתוכנות הרגילות לעיבוד נתונים, אין מזינים את מערכת הבינה המלאכותית בכללים קבועים, אלא בונים מודלים סטטיסטיים בעזרתם מאמנים אותה עד שהיא מגיעה לרמת הדיוק הרצויה. המערכות לזיהוי קול ולזיהוי תמונה, לניתוח ותרגום טקסטים, לנהיגה אוטונומית ואף תוכנות משחקי השחמט, הדמקה והגו הגיעו לרמתן הקיימת בזכות למידת המכונה.
במסגרת הבינה המלאכותית, למידת מכונה היא תת-תחום של רשתות עצביות מלאכותיות. למידה עמוקה היא תת-תחום של למידת מכונה.
המושג "למידת מכונה" הוגדר בשנת 1950 על ידי מדען המחשבים ארתור סמואל מחברת IBM כ"תחום המחקר המקנה למחשבים את היכולת ללמוד מבלי שתוכנתו באופן מפורש".
בשנת 1959, המתמטיקאי ומדען המחשב אוליבר סלפרידג' (אנ') פרסם את עבודתו Pandemonium: A paradigm for learning[31] בה הוא מתאר את תהליך זיהוי אובייקט במונחים של "מערכת היררכית של זיהוי ואסוציאציה על ידי קבוצה מטאפורית של "שדים" השולחים אותות זה לזה". מודל זה השפיע על פיתוח האלגוריתמים לזיהוי תבניות.
עד סוף שנות השבעים של המאה העשרים, למידת המכונה התפתחה בתוך המסגרת הכללית של הבינה המלאכותית ושימשה לאימון רשתות עצביות מלאכותיות.
בסוף שנות השבעים ותחילת שנות השמונים של המאה העשרים, מחקר הבינה המלאכותית התמקד בשימוש בגישות לוגיות מבוססות ידע ולא באלגוריתמים. בתקופה שכונתה "החורף של הבינה המלאכותית" מחקר הרשתות העצביות נזנח ותעשיית למידת המכונה אורגנה מחדש לתחום נפרד שהתמקד בפתרון בעיות מעשיות ובמתן שירותים. תקופת הפריחה של תחום למידת המכונה התחילה בשנות התשעים של המאה העשרים בעקבות צמיחת האינטרנט והזמינות ההולכת וגדלה של נתונים דיגיטליים.
סוגי למידת מכונה
[עריכת קוד מקור | עריכה]מודלים של למידת מכונה מונחית מאומנים באמצעות מאגרי נתונים מתויגים שמאפשרים למודלים ללמוד ולהשתפר עם הזמן. זהו המודל השכיח ביותר.
מודלים של למידת מכונה בלתי מונחית מאתרים תבניות או מגמות במאגר נתונים לא מתויג ללא הנחיה מפורשת, דוגמת סוגים שונים של לקוחות במאגר מכירות.
לימדת מכונה חצי-מונחית (weak supervision) (אנ')
[עריכת קוד מקור | עריכה]מאגר הנתונים לאימון כולל שילוב של כמות קטנה של נתונים מתויגים וכמות גדולה של נתונים לא מתויגים. המערכת מיישמת את הידע שנרכש מהנתונים המתויגים על הנתונים הלא מתויגים.
מודלים של למידת חיזוק מאמנים יישומים לפעול בדרך המיטבית באמצעות ניסוי וטעיה. מודלים אלה מיושמים במשחקי מחשב וברכבים אוטונומיים.[32]
משחקים מבוססים על בינה מלאכותית
[עריכת קוד מקור | עריכה]- ערך מורחב – תורת המשחקים
פיתוח משחקים באמצעות בינה מלאכותית סיפק אתגרים רבים להנעת ההתקדמות בתחום, והציע סביבות מבוקרות לבדיקת ולהערכת הביצועים של האלגוריתמים שפותחו. בעקבות פיתוח המשחקים נוצרו מאגרי ידע עצומים ששימשו לאימון אלגוריתמים מסוגים שונים. הלקחים שנלמדו מפיתוח המשחקים והידע שנצבר יושמו לאחר מכן על בעיות בעולם האמיתי.
קיום תחרויות בין מערכות בינה מלאכותית לבין יריבים אנושיים, או בין מערכות המחשב לבין עצמן, שימש כפלטפורמה להצגת ההתקדמות בטכניקות הבינה המלאכותית. הניצחון במשחק נגד יריבים אנושיים הוצג תמיד כאבן דרך בהתפתחות הבינה המלאכותית.
משחקי לוח
[עריכת קוד מקור | עריכה]משחקי לוח סופיים, ללא מהלכי גורל ובעלי כללים מוגדרים התאימו מאוד לפיתוח אלגוריתמים של רשתות עצביות מלאכותיות ושל למידת מכונה. המשחקים בהם הושקע מרב המאמץ היו שחמט, דמקה וגו.
האלגוריתמים למדו דרך ניסוי וטעיה וקיבלו חיזוק בצורת פרסים או קנסות בהתאם לדרך פעולתם. פיתוח משחקי הלוח האסטרטגיים הראשונים, דרש מהחוקרים לפעול ליצירת אלגוריתמים לחשיבה אסטרטגית והוכיח את הפוטנציאל הטמון בבינה המלאכותית בכל הקשור בפעולות שנחשבו באופן מסורתי כמתבססות אל האינטואיציה האנושית.
שחמט
[עריכת קוד מקור | עריכה]פיתוח משחקי שחמט התחיל בשנים הראשונות של המחשוב והתקדם יחד עם התקדמות החומרה והתוכנה. המחקרים על משחק השחמט תרמו רבות להבנת הבינה המלאכותית. היות שכוח החישוב היה מוגבל, המערכות שנכתבו בסוף שנות ה-50 של המאה ה-20 יכלו לשחק רק ברמה בסיסית. בסוף שנות ה-60 משחקי השחמט היו טובים מספיק כדי לנצח חובבנים. כוח החישוב המוגבל לא אפשר למחשבים לשחק משחק מלא לכן התוכנות שפותחו בתקופה זאת כוונו למהלכים הסופיים במשחק.
בשנת 1912, לאונרדו טורס קואוודו (אנ') בנה במדריד את El Ajedrecista (אנ'), האוטומט הראשון האלקטרו-מכני שהייה מסוגל לשחק שחמט נגד שחקן אנושי ללא עזרת אדם. המכונה שיחקה את המהלכים האחרונים כאשר היא הזיזה מלך וצריח לבנים נגד המלך השחור של היריב.[33]
בשנת 1950, קלוד שאנון פרסם את העבודה הראשונה שהסבירה באופן מפורט כיצד יש לכתוב תוכנית מחשב למשחק השחמט. הוא פיתח את רעיון החיפוש בעץ מינימקס. באופן מעשי עומקו של העץ היה מוגבל על ידי הזמן והזיכרון של המחשב, לכן שיטה זאת יושמה בפועל רק שנים רבות לאחר מכן.
בשנת 1951, דיטריך פרינץ (אנ'), חלוץ מדעי המחשב הגרמני, פיתח את התוכנה שרצה על מחשבי פרנטי סימן I והייתה מסוגלת לפתור אחדות מהבעיות " מט בשני מהלכים".[34]
בשנת 1958, אלכס ברנשטיין שחמטאי ומתכנת בחברת IBM פיתח בארצות הברית תוכנה שיכלה לשחק משחק שחמט מלא, ברמת שחקן מתחיל.[35]
אלן ניואל והרברט סיימון באוניברסיטת קרנג'י מלון וקליף שו בתאגיד רנד פיתחו חלק מהרעיונות הבסיסיים שעומדים ביסוד כל תוכנות משחקי השחמט. הם שילבו בין אלגוריתם מינימקס לטכניקת גיזום אלפא-ביתא. תחילה בוצע חיפוש בעץ המהלכים האפשריים ומהלכי הנגד, תוך הערכת המהלך הטוב ביותר עבור השחקן והמהלך הגרוע ביותר עבור היריב. "גיזום" ענפי עץ החיפוש שהובילו לתוצאות פחות טובות יצר לחיסכון בזמן. בשנת 1958 הם יישמו רעיונות אלה בתוכנת השחמט NSS, גרסה משופרת של התוכנה של ברנשטיין.[36]
40 שנה לאחר מכן, בשנת 1997, המחשב "כחול עמוק" של חברת IBM ניצח את אלוף העולם גארי קספרוב. בשנת 2017, AlphaZero, יישום שנכתב במסגרת פרויקט הבינה המלאכותית DeepMind של גוגל, הוכיח רמה גבוהה מכל מה שהיה ידוע עד אז, כאשר ניצח בעשרים ושמונה משחקים מתוך מאה. 72 המשחקים הנותרים נגמרו בתיקו.
דמקה
[עריכת קוד מקור | עריכה]התוכניות הראשונות למשחק הדמקה נכתבו בשנת 1951 על ידי מדען המחשב קריסטופר סטרצ'י (אנ') על המחשב הדיגיטלי המסחרי הרב תכליתי הראשון שהיה מסוגל לאחסן תוכנה בשם פֶרַנְטִי סימן 1.
בשנת 1952, מדען המחשב האמריקאי ארתור סמואל מחברת IBM כתב את התוכנית הראשונה שהצליחה לאתגר חובבן. בשנת 1955 הוא יצר גרסה שלמדה לשחק. סמואל שילב במערכת מנגנונים בעזרתם תוכנת הדמקה שלו יכלה ללמוד מתוך משחקים בהם השתתפה. המערכת רשמה ליד כל מהלך שראתה אם אותו מהלך הוביל להפסד או לניצחון. המערכת ביססה את החלטותיה על רישום זה וכך היא השתפרה ככל ששיחקה יותר ויותר משחקים. סמואל כינה את התהליך "למידת מכונה". בשנת 1962, לאחר שהמערכת שיחקה אלפי משחקים נגד עצמנה, היא ניצחה את האלוף רוברט ניילי. העקרונות שסמואל הניח היוו בסיס לפריצות דרך בבינה מלאכותית בחברת IBM בשנות ה-90 של המאה העשרים.
בין השנים 1989 – 2007, פותחה על ידי צוות בניהולו של ג'ונתן שפר מאוניברסיטת אלברטה תוכנה למשחק הדמקה בשם צ'ינוק. לאחר שהוכח שהתוכנה לא הפסידה אף פעם (סיימה בניצחון או בתיקו) הפך משחק הדמקה למשחק פתור.[37]
גו (אנ')
[עריכת קוד מקור | עריכה]התוכנות הראשונות שנכתבו בין השנים 1980 - 1990 הפסידו במשחק נגד חובבנים. התוכנות שנכתבו בתחילת שנות ה-2000 היו ברמה בינונית. הסיבות לכך היו בין היתר היעדר חומרה מתאימה ואלגוריתמים מתאימים למורכבות המשחק. פריצת הדרך נרשמה בשנת 2015 עם יישום מודלים של למידת מכונה.
בין השנים 2015 – 2017, חברת DeepMind Technologies (שנרכשה מאוחר יותר על ידי חברת גוגל) הוציאה לשוק מספר גרסאות של התוכנה AlphaGo עבור משחק הקופסה הסיני גו.
- הגרסה "פאן" שיצאה בשנת 2015 ניצחה את אלוף אירופה פאן הוי בתוצאה 5:0
- הגרסה "לי" שיצאה בשנת 2016 ניצחה את האלוף לי סדול בתוצאה 4:1.
- הגרסה "מסטר" שיצאה בשנת 2017 ניצחה את האלוף קי ג'י
- בשנת 2017 שוחררה גם הגרסה המשופרת Zero. בניגוד לגרסאות הקודמות שלמדו את המשחק על ידי התבוננות במיליוני משחקים של שחקנים אנושיים, גרסה זאת למדה תוך משחק עם עצמה (למידה בלתי מונחית).[38]
משחקי וידאו
[עריכת קוד מקור | עריכה]משחקי הווידאו הראשונים לא התבססו על למידת מכונה טיפוסית או הדמיית יכולות אנושיות, אלא השתמשו לצורך ניהול המשחק בטכנולוגיות מכניות ואלקטרומכניות.
פיתוח משחקי וידאו דרש מהחוקרים לדמות קשת רחבה של תסריטים ולפתח אלגוריתמים של בינה מלאכותית המסוגלים להסתגל למצבים שונים ולאפשר ניווט הדמויות בסביבות שונות.[39]
בשנת 1978 הופיע בשוק המשחק "פולשים מהחלל" אשר השתמש לראשונה בתבניות מבוססות בינה מלאכותית ובאלמנטים של התנהגות הֶגֵּבִית מסתגלת להצגת ה"אויבים".
בשנת 1980 חברת נאמקו השיקה את המשחק פק-מן. החידוש העיקרי בתחום הבינה המלאכותית היה קשור לתבניות התנהגות ולחִתּוּכֵי-רֶשֶׁת.
אבן הדרך הבאה במשחקי הווידאו מבוססי בינה מלאכותית הושגה בשנת 1988 עם השקת המשחק First Queen,[40] משחק תפקידים טקטי בו דמויות שאינן שחקנים מנוהלות על ידי אלגוריתמים של בינה מלאכותית באמצעות תבניות שונות. חישוב נתיבי התנועה התבסס על האלגוריתמים דייקסטרה שהוצג בשנת 1956 ו - *A.
היישום המוצלח הראשון של רשתות עצביות מלאכותיות במשחקי וידאו הושג בשנת 1996 במשחק Creatures (אנ'), בו השחקן מלמד יצורים פרוותיים קטנים כיצד להתנהג או נותן להם ללמוד באופן עצמאי.
החל משנת 2000 חלה התקדמות משמעותית באלגוריתמים של בינה מלאכותית ששולבו במשחקי וידאו. האויבים הציגו התנהגות ריאליסטית, התגוננו בצורה משכילה, תיאמו מתקפות והתאימו את עצמם לאסטרטגיה של השחקו, דוגמת First Encounter Assault Recon (אנ') שהושק בשנת 2005.
יצירת דמויות שאינן שחקנים דרשה מהבינה המלאכותית ליצור יריבים ריאליסטיים ומאתגרים שמפגינים התנהגויות מורכבות, מסתגלים לאסטרטגיית השחקן ומקבלים החלטות בזמן אמת. שילוב מודלי שפה גדולים בדמויות שאינן שחקנים אפשר לשחקן לשוחח עם הדמויות, דוגמת המשחק The Elder Scrolls V: Skyrim שהושק בשנת 2011.
במשחק דום הנצחי שהושק בשנת 2016 ובגרסתו החדשה משנת 2020, משתמשים באלגוריתמים דינמיים שיוצרים תסריטי קרב מאתגרים. האויבים מפגינים התנהגויות מגוונות ומסתגלים לטקטיקה של השחקן. במשחק No Man's Sky שהושק בשנת 2016 נעשה שימוש בטכניקת יצירת תוכן פרוצדורלית כדי לספק באופן דינמי את תוכן המשחק.[41]
משחקי הווידאו המתקדמים משתמשים בטכניקות של למידת מכונה מסתגלת כדי להתאים באופן דינמי את רמת הקושי של המשחק לשחקן על סמך התנהגותו ויוצרים באופן דינאמי נופים, דמויות ואלמנטים אחרים כתלות בהתקדמות המשחק.
מערכות מומחה
[עריכת קוד מקור | עריכה]- ערך מורחב – מערכת מומחה
מערכת מומחה היא מערכת מידע ממוחשבת המסוגלת לתפקד כמומחה או לסייע למומחה אנושי בתחום ידע מסוים. תשובותיה מבוססות על סט של כללים, או על מאגר ידע שהוכן מראש בתחום המבוקש.[42]
מערכות מומחה עושות שימוש בשילוב של אלגוריתמים כגון שרשור לאחור (אנ') שרשור קדימה (אנ'), Rete שפורסם לראשונה בשנת 1974 על ידי צ'ארלס פורגי מאוניברסיטת קרנגי מלון, על רשתות בייסיאניות, על לוגיקה עמומה, ועל האלגוריתמים השונים שפותחו עבור למידת מכונה. בחירת האלגוריתמים ושילובם תלויים בשימוש במערכת המומחה, באופי הבעיה שיש לפתור ובדרישות ממערכת המומחה.
מערכות המומחה התפתחו באופן משמעותי מאז הופעתן בשנות ה-60 של המאה ה-20. להלן מספר אבני דרך בהתפתחותן:
הגישה הסימבולית (1950 – 1960) שפותחה על ידי הרברט סיימון ואלן ניואל התמקדה בייצוג ידע באמצעות סמלים וכתיבת תכנות לוגית ליצירת מערכות מבוססות כללים. הצלחות ה־Logic Theorist ו"פותר הבעיות הכללי" של הרברט סיימון, קליף שו ואלן ניואל הניחו את היסודות לייצוג סימבולי של מידע מתוך מאגר מידע קיים ושל תהליכים קוגניטיביים מסדר גבוה. מערכות אלה לא למדו באופן עצמאי ולא שכללו את האלגוריתם שלהן בהתאם, אלא תסתמכו על מאגר המידע שהוזן לתוכן. הן יכלו לקבל החלטות או לתת המלצות בהתבסס על נתונים אלה בלבד.
מערכת המומחה הראשונה הוצגה בשנת 1965 על ידי אדוארד פייגנבאום. מטרת מערכת DENDRAL הייתה לנבא את המבנה המולקולארי של חומרים אורגניים על סמך נתונים שהושגו ממכשירים מדעיים.
בין השנים 1970 – 1980 המחקר התמקד בכיוון שמירה וקידוד המומחיות האנושית במערכות מחשב. הדבר הוביל לפיתוח שפות התכנות ליספ ופרולוג שאפשרו למומחים לנסח את הידע שלהם בצורה מובנת למחשבים. כמוכן פותחו אלגוריתמים חזקים לחיפוש כגון *A ומנועי הסקה שאפשרו למערכות המומחה לנווט במאגרי מידע גדולים ולהגיע למסקנות על בסיס המידע הזמין.
בשנת 1970, המרכז הבינלאומי לבינה מלאכותית השל SRI פיתח את המערכת PROSPECTOR במטרה לסייע לגאולוגים בשלבים הראשונים של חקירת אתרי קידוח למינראלים. המערכת התבססה על הידע ועל תהליך החשיבה של מומחים לגאולוגיה.[43]
בשנת 1972, מערכת המומחה MYCIN שנכתבה באוניברסיטת סנפורד, סייעה באבחון זיהומים בדם והציע דרכי טיפול. פעילותה התבססה על 500 כללים והיא תפקדה ברמה של מומחה בתחום.[44]
מערכות אלה הוכיחו שאפשר לקודד מומחיות אנושית לתוך תוכנות מחשב לצורך אבחון, תכנון ומשימות אחרות.
בשנת 1978 הוצגה המערכת, MOLGEN שנכתבה בסטנפורד על ידי מארק סטפיק ופיטר פרידלנד, אשר יישמה את תחומי האלגברה החישובית והבינה המלאכותית בביולוגיה מולקולארית על מנת לסייע לחוקרים לתכנן ניסויים מורכבים ולבחון את המבנה של חומצות גרעין ושל מולקולות.
בשנת 1987 הושקה באופן מסחרי גרסה 2.0 של ALACRITY, מערכת ראשונה לייעוץ אסטרטגי וניהולי המסחרי. המערכת התבססה על מאגר של 3,000 כללים בנושא התפתחות השווקים ואסטרטגיות תחרותיות על מנת לספק תשובות 100 שאלות אסטרטגיות.[45]
יישום עבודתו של פרופסור לוטפי זאדה מאוניברסיטת קליפורניה בברקלי. בנושא לוגיקה עמומה במערכות מומחה בשנות השונים של המאה העשרים איפשרה לטפל במצבים שבהם הבעיה או פתרונה או שניהם כאחד אינם ניתנים לניסוח בצורה לוגית. הלוגיקה העמומה מציעה שיטה בעזרתה ניתן לבטא מצבים עמומים בשיטות מוגדרות היטב, וכך לטפל בצורה ממוחשבת בהחלטות ובהסקה באופנים הקרובים יותר לאופן בו אנשים מחליטים או מסיקים.[46]
התקדמות משמעותית בתחום מערכות המומחה הושגה בין השנים 1980 - 1990 עם שילוב מערכות עצביות מלאכותיות, עצי החלטה, רשתות בייסיאניות ואלגוריתמים של למידת מכונה. שילוב זה אפשר למערכות המומחה להתאים את עצמן למידע חדש ולשפר את ביצועיהן.
בזכות ההתקדמות בעיבוד שפה טבעית, אונטולוגיה ורשתות סמנטיות, בין השנים 1990 – 2000 המערכות יכלו להבין שאלות שנשאלו בשפה הטבעית ולהציע תשובות. המשתמשים יכלו לתקשר עם המערכות ללא צורך בתכנות. האונטולוגיה סיפקה מסגרת מובנית להגדרה פורמלית של מושגים וקשרים בתחום מסוים ובכך אפשרה למערכות המומחה להציג, לרכוש, להשתמש מחדש, לשתף ולעבד את הידע בתחום.
עיבוד שפה טבעית
[עריכת קוד מקור | עריכה]- ערך מורחב – עיבוד שפה טבעית
עיבוד שפה טבעית הוא ענף של בינה מלאכותית המאפשר למחשבים להבין, לחולל ולעבד שפה טבעית, במטרה לגשר בין התקשורת האנושית לתקשורת המחשבים. עיבוד שפה טבעית משלב מספר מקצועות ביניהם בלשנות חישובית ומדעי המחשב.
עד שנות 80 של המאה ה-20, מרבית המערכות לעיבוד שפה טבעית התבססו על סדרת כללים שהוזנו למחשב. בשנת 1954, חוקרים ממרכז IBM הצליחו לתרגם שישים משפטים מרוסית לאנגלית. בשנת 1965 ג'וזף וייצנבאום בנה את אלייזה, תוכנה אינטראקטיבית שניהלה דו-שיח באנגלית.
למודלים מבוססי כללים היו מגבלות שנבעו מחוסר היכולת לטפל בדו-משמעויות ובשונות בהשפה הטבעית.[47]
השימוש במודלים סטטיסטיים לניתוח תהליכי שפה טבעית כגון מודל מרקוב חבוי ומודל האנטרופיה המקסימלית (אנ') הביאו לשיפור בכל הקשור בדיוק התרגום.
התקדמות מהירה בתחום עיבוד השפה הטבעית הורגשה בתחילת המאה ה-20, כתוצאה מהגידול המתמיד בכוח החישוב של המחשבים, היווצרות מאגרי נתונים גדלים והולכים והמעבר לאלגוריתמים מבוססים למידת מכונה.
בשנת 2001, יושיו בנג'יו וצוותו הציעו את מודל השפה הראשון המבוסס על רשת זרימה קדימה.
העלייה בשימוש ברשתות עצביות, במיוחד רשתות משוב ורשתות מתקפלות (2010), ארכיטקטורת LSTM (1997) וארכיטקטורת טרנספורמר (2017) שיפרה באופן משמעותי את ביצועי משימות עיבוד השפה הטבעית.
בשנת 2011 אפל השיקה את סירי, העוזרת האישית הראשונה המבוססת על עיבוד שפה טבעית באמצעות בינה מלאכותית.[48]
ראו גם
[עריכת קוד מקור | עריכה]- היסטוריה של המחשוב
- היסטוריה של הנדסת תוכנה (אנ')
- היסטוריה של שפות תכנות (אנ')
- היסטוריה של משחקי הווידאו
- ציר הזמן של בינה מלאכותית
- היסטוריה של עיבוד שפה טבעית (אנ')
הערות שוליים
[עריכת קוד מקור | עריכה]- ^ שלומי מור, בינה מלאכותית: כל מה שרציתם לדעת על AI וכיצד היא עומדת לשנות את העולם שלנו, באתר מייליסט, 2023-04-03
- ^ The Talos episode in Argonautica 4
- ^ מהו סיפור הגולם מפראג?, באתר eureka.org.il
- ^ Greek Automata, www.ancient-wisdom.com
- ^ The Movable Automatic Theatre of Heron (Video), GHD, 2020-12-21 (באנגלית אמריקאית)
- ^ The Antikythera Mechanism., www.ancient-wisdom.com
- ^ גילי חסקין, תור הזהב המוסלמי | גילי חסקין – מדריך טיולים
- ^ 7 Early Robots and Automatons, HISTORY, 2023-10-16 (באנגלית)
- ^ Pascaline | Mechanical Calculator, Addition Device, Subtraction | Britannica, www.britannica.com (באנגלית)
- ^ Step Reckoner | Mechanical Calculator, Arithmetic Device, Calculating Device | Britannica, www.britannica.com (באנגלית)
- ^ ז'וזף מארי ז'אקאר - מי המציא את הנול החכם ומה הקשר למחשבים?, באתר eureka.org.il
- ^ Difference and Analytical Engines
- ^ Who invented computers? | Bricsys Blog, www.bricsys.com (ב־)
- ^ A. Newell, F. M. Tonge, An introduction to information processing language V, Communications of the ACM 3, 1960-04-01, עמ' 205–211 doi: 10.1145/367177.367205
- ^ GOTTFRIED WILHELM LEIBNIZ, DE ALPHABETO COGITATIONUM HUMANARUM
- ^ The Dartmouth Workshop--as planned and as it happened, www-formal.stanford.edu
- ^ WARREN S. MCCULLOCH AND WALTER PITTS, A Logical Calculus of the Ideas Immanent in Nervous Activity
- ^ Explained: Neural networks, MIT News | Massachusetts Institute of Technology, 2017-04-14 (באנגלית)
- ^ Linnainmaa, Seppo, Algoritmin kumulatiivinen pyöristysvirhe yksittäisten pyöristysvirheiden Taylor-kehitelmänä
- ^ Werbos, P. J., Backpropagation through time: what it does and how to do it doi: 10.1109/5.58337
- ^ David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, Learning representations by back-propagating errors, Nature 323, 1986-10, עמ' 533–536 doi: 10.1038/323533a0
- ^ Evangeline Reid, Library Guides: ChatGPT, AI, and Implications for Higher Education: History of AI and Neural Networks, libguides.aurora.edu (באנגלית)
- ^ John J. Hopfield, Hopfield network, Scholarpedia 2, 2007-05-11, עמ' 1977 doi: 10.4249/scholarpedia.1977
- ^ Deep Learning | Introduction to Long Short Term Memory, GeeksforGeeks, 2019-01-16 (באנגלית אמריקאית)
- ^ What are Convolutional Neural Networks? | IBM, www.ibm.com (באנגלית אמריקאית)
- ^ Tamás Roska, Giovanni E. Pazienza, Cellular neural network, Scholarpedia 4, 2009-12-26, עמ' 1519 doi: 10.4249/scholarpedia.1519
- ^ Kurt Muehmel, What Is a Large Language Model, the Tech Behind ChatGPT?, blog.dataiku.com, 2023-07-07 (באנגלית אמריקאית)
- ^ Giuliano Giacaglia, Transformers, Medium, 2023-05-11 (באנגלית)
- ^ A ten-minute introduction to sequence-to-sequence learning in Keras, blog.keras.io
- ^ What is Generative AI? Everything You Need to Know, Enterprise AI (באנגלית)
- ^ DR. 0. G. SELFRIDGE, PANDEMONIUM: A PARADIGM FOR LEARNING
- ^ Machine learning, explained | MIT Sloan, mitsloan.mit.edu, 2024-01-25 (באנגלית)
- ^ J. J. Velasco, Historia de la tecnología: El ajedrecista, el abuelo de Deep Blue, Hipertextual, 2011-07-22 (בספרדית)
- ^ Chilton::ACL::Games Playing with Computers, www.chilton-computing.org.uk
- ^ The Bernstein Chess Program - Chessprogramming wiki, www.chessprogramming.org (באנגלית)
- ^ The NSS Chess Program (1958), MobyGames (באנגלית)
- ^ The games that helped AI evolve | IBM, www.ibm.com (באנגלית אמריקאית)
- ^ Metz, Cade. "Google's AI Wins First Game in Historic Match With Go Champion". Wired (באנגלית אמריקאית). ISSN 1059-1028. נבדק ב-2024-01-30.
- ^ Exploring the Evolution of AI in Video Game Design: A Journey Through History
- ^ First Queen (1988), MobyGames (באנגלית)
- ^ מהפכה בתעשיית המשחקים: ההשפעה של AI על פיתוח משחקים - Aipedia - אינציקלופדיית הבינה מלאכותית הראשונה בישראל, 2023-06-06
- ^ AI History: the 1980s and expert systems, Klondike, 2021-09-03 (באנגלית אמריקאית)
- ^ S. R. I. International, PROSPECTOR computer-based expert system, SRI, 1970-12-02 (באנגלית אמריקאית)
- ^ MYCIN | Expert System, Medical Diagnosis & Treatment | Britannica, www.britannica.com (באנגלית)
- ^ Public Services and Procurement Canada Government of Canada, Information archivée dans le Web, publications.gc.ca
- ^ שי קריגמן, [https://www.openu.ac.il/lists/mediaserver_documents/academic/cs/AComparativeReviewOfMethodsThatCombine.pdf סקירה השוואתית של שיטות המשלבות רשתות בייסיאניות ולוגיקה עמומה]
- ^ A quick history of Natural Language Processing - Aveni, aveni.ai, 2023-01-20 (באנגלית בריטית)
- ^ Keith D. Foote, A Brief History of Natural Language Processing, DATAVERSITY, 2023-07-06 (באנגלית אמריקאית)
