מנוע חיפוש (אינטרנט)
מנוע חיפוש היא תוכנה שמוצאת דפי אינטרנט התואמים לחיפוש באינטרנט. המנוע מחפש ברשת העולמית בצורה שיטתית אחר מידע מסוים שצוין בשאילתת החיפוש הטקסטואלית. תוצאות החיפוש מוצגות בדרך כלל בשורה של תוצאות, המכונה לרוב דפי תוצאות של מנועי חיפוש (SERP). המידע עשוי להיות שילוב של היפר-קישורים לדפי אינטרנט, תמונות, סרטונים, אינפוגרפיקה, מאמרים וסוגים אחרים של קבצים.
מנועי חיפוש מסוימים גם כורים נתונים הזמינים במסדי נתונים או בספריות פתוחות. שלא כמו ספריות אינטרנט שמתוחזקים על ידי עורכים אנושיים, מנועי החיפוש גם שומרים על מידע בזמן אמת על ידי הפעלת אלגוריתם שסורק את האינטרנט. כל תוכן מבוסס אינטרנט שלא ניתן לאינדקס ולחפש במנוע חיפוש אינטרנטי נופל לקטגוריה של "אינטרנט עמוק".
היסטוריה[עריכת קוד מקור | עריכה]
לפני שנות ה-90[עריכת קוד מקור | עריכה]
מערכת לאיתור מידע מפורסם שנועדה להתגבר על הקושי ההולך וגובר לאתר מידע באינדקסים מרכזיים הולכים וגדלים של עבודה מדעית תוארה ב-1945 על ידי ואנבר בוש, שכתב מאמר באטלנטיק מאנתלי בשם "כפי שאנו עשויים לחשוב" (אנ')[1] שבו חזה ספריות מחקר עם הערות מקושרות לא בניגוד לקישורי היפרטקסט מודרניים. ניתוח קישורים לבסוף יהפוך לרכיב מכריע במנועי חיפוש באמצעות אלגוריתמים כמו Hyper Search ו-PageRank.
שנות ה-90: לידת מנועי החיפוש[עריכת קוד מקור | עריכה]
מנועי החיפוש הראשונים באינטרנט קדמו להופעת הרשת בדצמבר 1990: חיפוש משתמשי WHOIS(אנ') ושירות מידע Knowbot לחיפוש משתמשים רב-רשתי יושם לראשונה ב-1989. מנוע החיפוש המתועד היטב הראשון שחיפש קובצי תוכן, ובפרט קובצי FTP, היה ארצ'י, שהופיע לראשונה ב-10 בספטמבר 1990.
לפני ספטמבר 1993, הרשת העולמית (World Wide Web) אונדקסה כולה באופן ידני. הייתה רשימה של שרתי רשת עולמית שערך טים ברנרס-לי ואירח בשרת CERN. נותר תיעוד אחד של הרשימה מ-1992[2]. ככל שיותר ויותר שרתי רשת החלו לפעול מקוונת, הרשימה המרכזית לא יכלה עוד לעקוב אחר המצב. באתר NCSA הוכרזו שרתים חדשים תחת הכותרת "מה חדש!"
הכלי הראשון ששימש לחיפוש תוכן (לעומת משתמשים) באינטרנט היה ארצ'י. השם מייצג את המילה האנגלית ל"ארכיון" ללא ה-"ון". הכלי נוצר על ידי אלן אמטאג', סטודנט למדעי המחשב באוניברסיטת מקגיל במונטריאול, קוויבק, קנדה. התוכנה הורידה את רשימות התיקיות של כל הקבצים הממוקמים באתרי FTP ציבוריים אנונימיים, ויצרה בסיס נתונים ניתן לחיפוש של שמות קבצים; עם זאת, מנוע חיפוש ארצ'י לא אינדקס את תוכן האתרים האלה מכיוון שכמות הנתונים הייתה כה מוגבלת שניתן היה לחפש בה ידנית בקלות.
עליית פרוטוקול התקשורת גופר (שנוצרה ב-1991 על ידי מארק מק'קאהיל מאוניברסיטת מינסוטה) הובילה לשני מנועי חיפוש חדשים, ורוניקה וג'אגהד. כמו ארצ'י, הם חיפשו בשמות הקבצים והכותרות המאוחסנים במערכות האינדקס של גופר. ורוניקה (אינדקס רשתי קל מאוד להפעלה של ארכיונים ממוחשבים) סיפקה חיפוש מילות מפתח של רוב כותרות התפריט של גופר בכל רשימות הגופר. ג'אגהד (חפירה היררכית אוניברסלית של ג'ונזי ותצוגה שלהם) היה כלי להשגת מידע תפריטי משרתי גופר ספציפיים.
בקיץ 1993, לא היה קיים מנוע חיפוש ברשת, למרות שקטלוגים מקצועיים רבים תחזקו ידנית. אוסקר ניירשטראז מהאוניברסיטה של ז'נבה כתב סדרה של תסריטי Perl שהעתיקו מדי פעם דפים אלה וכתבו אותם מחדש בפורמט אחיד. זה עיצב את הבסיס עבור W3Catalog, מנוע החיפוש הפרימיטיבי הראשון של הרשת, שיצא לאור ב-2 בספטמבר 1993.
ביוני 1993, מתיו גריי, אז ב-MIT, הפיק כנראה את "רובוט הרשת" הראשון, הנודד ברחבי הרשת העולמית בפרל, והשתמש בו כדי לייצר אינדקס בשם "Wandex". מטרת הרובוט הייתה למדוד את גודל הרשת העולמית, מה שעשה עד סוף 1995. מנוע החיפוש השני ברשת, אליווב, הופיע בנובמבר 1993. אליווב לא השתמש ברובוט רשת, אלא הסתמך על הודעה ממנהלי אתרי אינטרנט על קיומו של קובץ אינדקס בפורמט מסוים בכל אתר.
JumpStation (נוצר בדצמבר 1993 על ידי ג'ונתון פלטצ'ר) הוא השתמש ברובוט רשת כדי למצוא דפי רשת ולבנות את האינדקס שלו, והשתמש בטופס רשת כממשק לתוכנת השאילתה שלו. לכן, זו הייתה הכלי הראשון לגילוי משאבי WWW ששילב את שלושת המאפיינים החיוניים של מנוע חיפוש רשת (זחילה, אינדוקציה וחיפוש) כמתואר להלן. בגלל המשאבים המוגבלים שהיו זמינים על הפלטפורמה שפעלה עליה החיפוש שלה הוגבל לכותרות וכותרות שנמצאו בדפי הרשת שמצא הרובוט.
אחד ממנועי החיפוש הראשונים "כל הטקסט" על בסיס רובוט רשת היה WebCrawler, שיצא ב-1994. בניגוד לקודמיו, הוא איפשר למשתמשים לחפש כל מילה בכל דף רשת, מה שהפך לסטנדרט עבור כל מנועי החיפוש הגדולים מאז. זה גם היה מנוע החיפוש שהיה מוכר היטב לציבור. כמו כן, ב-1994, Lycos (שהחל באוניברסיטת קרנגי מלון) הושק והפך למאמץ מסחרי גדול.
מנוע החיפוש הפופולרי הראשון ברשת היה Yahoo! חיפוש. המוצר הראשון מ-Yahoo!, שנוסד על ידי ג'רי יאנג ודייוויד פילו בינואר 1994, היה ספריית רשת בשם ספריית Yahoo! ב-1995 נוספה פונקציית חיפוש, שאיפשרה למשתמשים לחפש בספריית Yahoo! זה הפך לאחת הדרכים הפופולריות ביותר עבור אנשים למצוא דפי רשת מעניינים, אבל פונקציית החיפוש שלו פעלה על ספריית הרשת שלה, ולא על העתקי הטקסט המלא של דפי הרשת.
זמן קצר לאחר מכן, הופיעו מספר רב של מנועי חיפוש והתחרו על פופולריות. אלה כללו מגלן, אקסייט, אינפוסיק, אינקטומי, Northern Light ו-AltaVista. מחפשי מידע יכלו גם לעיין בספרייה במקום לבצע חיפוש מבוסס מילות מפתח.
ב-1996, רובין לי פיתח את אלגוריתם דירוג האתרים RankDex עבור דירוג תוצאות דף מנועי חיפוש וקיבל פטנט אמריקאי על הטכנולוגיה. זה היה מנוע החיפוש הראשון שהשתמש בקישורי היפר-טקסט כדי למדוד את איכות האתרים באינדקס, פטנט דומה מאוד הוגש על ידי Google שנתיים מאוחר יותר ב-1998. לארי פייג' התייחס לעבודתו של לי בחלק מהפטנטים האמריקאיים שלו עבור PageRank. מאוחר יותר לי השתמש בטכנולוגיית Rankdex שלו עבור מנוע החיפוש Baidu, שאותו ייסד בסין והשיק בשנת 2000.
ב-1996, נטסקייפ חיפשה לתת עסקה בלעדית למנוע חיפוש אחד כמנוע החיפוש המוצג בדפדפן הרשת של נטסקייפ. היה כל כך הרבה עניין עד שבמקום זאת, נטסקייפ חתמה עסקאות עם חמישה מנועי חיפוש גדולים: תמורת 5 מיליון דולר בשנה, כל מנוע חיפוש יהיה ברוטציה בדף מנוע החיפוש.
2000 עד היום: לאחר בועת הדוט-קום[עריכת קוד מקור | עריכה]
סביב שנת 2000, מנוע החיפוש של גוגל עלה לתודעה. החברה השיגה תוצאות טובות יותר עבור חיפושים רבים באמצעות אלגוריתם בשם PageRank, כפי שהוסבר במאמר "אנטומיה של מנוע חיפוש" שנכתב על ידי סרגיי ברין ולארי פייג', המייסדים העתידיים של גוגל. אלגוריתם איטרטיבי זה מדרג דפי אינטרנט בהתבסס על מספר ו-PageRank של אתרי אינטרנט ודפים אחרים המקשרים אליהם, על ההנחה שדפים טובים או רצויים מקושרים יותר מאחרים. בקשת הפטנט של לארי פייג' על PageRank מציינת את בקשת הפטנט המוקדמת יותר של רובין לי על RankDex כהשפעה. גוגל גם שמרה על ממשק מינימליסטי למנוע החיפוש שלה. לעומת זאת, רבים ממתחריה שילבו מנוע חיפוש בפורטל אינטרנט. למעשה, מנוע החיפוש של גוגל הפך כל כך פופולרי עד שהופיעו מנועי חיפוש מזויפים כמו Mystery Seeker.
עד שנת 2000 סיפקה Yahoo! שירותי חיפוש מבוססים על מנוע החיפוש של אינקטומי. Yahoo! רכשה את אינקטומי ב-2002, ואת אוברצ'ר (שבבעלותה AlltheWeb ו-AltaVista) ב-2003. Yahoo! עברה למנוע החיפוש של גוגל עד 2004, עת שיחררה את מנוע החיפוש שלה שהתבסס על הטכנולוגיות המשולבות של רכישותיה.
מיקרוסופט שיחררה לראשונה את MSN Search בסתיו 1998 תוך שימוש בתוצאות חיפוש מאינקטומי. בתחילת 1999, האתר החל להציג רשימות מלוקסמארט, מעורבבות עם תוצאות מאינקטומי. לפרק זמן קצר ב-1999, MSN Search השתמשה בתוצאות מ-AltaVista במקום. ב-2004, מיקרוסופט החלה במעבר לטכנולוגיית חיפוש משלה, המונעת מזחלן אינטרנט משלה (הנקרא msnbot).
מנוע החיפוש הממותג מחדש של מיקרוסופט, Bing, הושק ב-1 ביוני 2009. ב-29 ביולי 2009, Yahoo! ומיקרוסופט סיכמו על עסקה שבה חיפוש Yahoo! יונע על ידי טכנולוגיית Bing של מיקרוסופט.
