משתמש:R4contrib/טיוטה
סקרפי (באנגלית: Scrapy) (סקריי-פי) היא מסגרת פיתוח תוכנה חינמית ופתוחה לסריקת אינטרנט שנכתבה בפייתון (python). במקור תוכנן עבור גירוד תוכן, אך ניתן להשתמש בו גם כדי לחלץ נתונים באמצעות ממשקי API או כסורק אינטרנט לשימוש כללי. [1] הוא מוחזק כיום על ידי Zyte (לשעבר Scrapinghub ), חברת פיתוח ושירותי גירוד אינטרנט.
ארכיטקטורת פרויקט Scrapy בנויה סביב "עכבישים", שהם סורקים עצמאיים שמקבלים סט הוראות. בדומה למסגרות פיתוח תוכנה אחרות בעלות עקרון ה-אל תחזור על עצמך, כגון [2] Django, גם Scrapy משתמש בו. השימוש בעקרון מקל על בנייה והרחבה של פרויקטי סריקה גדולים בכך שהוא מאפשר למפתחים לעשות שימוש חוזר בקוד שלהם.
כמה חברות ומוצרים ידועים המשתמשים ב-Scrapy הם: Lyst, [3] [4] Parse.ly, [5] Sayone Technologies, [6] Sciences Po Medialab, [7] אתר הנתונים העולמי לממשל של Data.gov.uk . [8]
היסטוריה[עריכת קוד מקור | עריכה]
Scrapy נולד בחברת אגרגציה ומסחר אלקטרוני הלונדונית Mydeco, שם היא פותחה ותוחזקה על ידי עובדי Mydeco ו-Insophia (חברת ייעוץ אינטרנט שבסיסה במונטווידאו, אורוגוואי). השחרור הציבורי הראשון היה באוגוסט 2008 תחת רישיון BSD, עם שחרור אבן דרך 1.0 שהתרחש ביוני 2015. בשנת 2011, Zyte (לשעבר Scrapinghub) הפכה לתחזוקה הרשמית החדשה. [9] [10]
הערות שוליים[עריכת קוד מקור | עריכה]
- ^ Scrapy at a glance.
- ^ "Frequently Asked Questions". Frequently Asked Questions, Scrapy 2.8.0 documentation (באנגלית אמריקאית). נבדק ב-28 ביולי 2015.
{{cite web}}: (עזרה) - ^ Bell, Eddie; Heusser, Jonathan. "Scalable Scraping Using Machine Learning". אורכב מ-המקור ב-4 ביוני 2016. נבדק ב-28 ביולי 2015.
{{cite web}}: (עזרה) - ^ Scrapy | Companies using Scrapy
- ^ Montalenti, Andrew (27 באוקטובר 2012). "Web Crawling & Metadata Extraction in Python". Web Crawling & Metadata Extraction in Python - Speaker Deck (באנגלית אמריקאית). נבדק ב-11 במאי 2015.
{{cite web}}: (עזרה) - ^ "Scrapy Companies". Scrapy | Companies using Scrapy.
- ^ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ^ Ben Firshman [@bfirsh] (21 בינואר 2010). "World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore" (Tweet) – via Twitter.
{{cite web}}: (עזרה) - ^ Hoffman, Pablo (2013). List of the primary authors & contributors (באנגלית אמריקאית). נבדק ב-18 בנובמבר 2013.
{{cite book}}: (עזרה) - ^ Interview Scraping Hub.