Big Data

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

Big Data הוא מונח המתייחס למאגר מידע הכולל נתונים מבוזרים שאינם מאורגנים לפי שיטה כלשהי, שמגיעים ממקורות רבים, בכמויות גדולות, בפורמטים מגוונים, ובאיכויות משתנות. למאגרים כאלה ארבעה מאפיינים עיקריים, שגורמים לקושי בניהול המאגר בכלים שהתאימו למאגרי מידע קטנים יותר: Volume (נפח), Velocity (מהירות), Variety (גיוון) ו-Volatility (נדיפות).

האתגר בניהול נתונים (data) בהיקפים גדולים, שאינם מוזנים בצורה מתוכננת מראש ואינם כפופים לשיטת אפיון מרכזית, הפך את התחום הטכנולוגי של "ביג דטה" לעניין מרכזי בטכנולוגיות המידע (IT), ובשנת 2011 נכנס המונח לשימוש רחב.

החזיה (ויזואליזציה) של פעילות ויקיפדית שבוצעה על ידי המשתמש "Pearle" (בוט). המידע הקיים בוויקיפדיה הוא דוגמה ל-big Data.

חלק גדול מהדיונים בנושא עוסקים בבעית הנפחים הגדולים שמעל מאות טרה-בית, ובקצבי הגעה מהירים מאד וממקורות רבים ושונים. מסדי הנתונים היחסיים הקיימים אינם בנויים לאיחסון ולניתוח כמויות מידע כה גדולות, שרובן אינן מגיעות באופן מפורמט לפי תבניות ידועות מראש. העלות הזולה יחסית של אמצעי האיחסון מצד אחד והכמות האדירה של מידע המגיע משלל מקורות (אתרי אינטרנט, רשתות חברתיות, מכשירים סלולריים, מצלמות אבטחה, סנסורים ועוד) מצד שני, גורם לכך שמידע נאגר ללא מחיקה ומאפשר יכולות ניתוח תבניות (patterns) וקורלציות הנדרשות בעולמות תוכן רבים. עקב כך התפתחו החל מסוף העשור הראשון של המאה ה-21 כלים ואמצעים לאיחסון, ניהול וניתוח של כמויות מידע עצומות אלה תחת הכותרת הכללית נתוני עתק ("Big Data").

דוגמאות ליישומים[עריכת קוד מקור | עריכה]

סוגיות[עריכת קוד מקור | עריכה]

אחסון[עריכת קוד מקור | עריכה]

עקב דרישת רוב הלקוחות לקבלת תשובות מורכבות בזמן אמת או קרוב מאד לכך, אמצעי האחסון המתקדמים התומכים בכמויות מידע גדולות נדרשים לאתגרים של כתיבה ושליפה מהירות מאד. זאת מבלי לאבד יכולות של גיבוי ושחזור אמינים ואוטומטיים, גילוי ותיקון שגיאות, ביזור המידע על פני מספר אתרים גאוגרפיים ודחיסת מידע נבונה.

כתיבת מידע[עריכת קוד מקור | עריכה]

כתיבת המידע צריכה להעשות בדרך סטנדרטית, שקופה ויעילה, באופן מנותק מהרכיבים יצרני המידע. מידע זורם כל העת מהתקנים רבים, שונים, משתנים בקצבים משתנים וללא כל שליטה של צרכן המידע (בעל המאגר) על שום אספקט של זרם הנתונים שהוזכר לעיל.

על המאגרים לספק מחד תמיכה בסטנדרטים של יצרני מידע מוכרים ומאידך, גמישות רבה לשינויים ויצירה של מתאמים (adapters) חדשים.

שליפה, ניתוח ומציאת תבניות[עריכת קוד מקור | עריכה]

האתגר הגדול ביותר הוא ביצוע שליפות מהירות של מידע הן בדרכים קבועות מראש, אך בעיקר בדרך של זיהוי מהיר של תבניות וקשרים שונים, בלתי ניתנים לחיזוי אנושי מראש, בין מילוני פיסות מידע מרוחקות בזמן, במקום, בפורמט ובמקור הקליטה שלהן.

לשם זיהוי תבניות מוכנסים לשימוש בתחום אלגורתימים מתחומי האלגוריתמים האקראיים, האלגוריתמים האבולוציוניים, בינה מלאכותית, Business intelligence ועוד, שהורחבו והותאמו לעבודה בכמויות ובקצבים הנדרשים.

פרטיות[עריכת קוד מקור | עריכה]

היקף המידע, מגוון המקורות של המידע והשימושים שנעשים בו מציבים אתגרים בקשר לפרטיות במידע. דיני הגנת הפרטיות הקיימים כיום, בעיקר באיחוד האירופי, מותאמים לסוגיות של מאגרי מידע מקומיים, קטנים יותר בהיקפם, שהוקמו למטרה מסוימת. נתוני עתק לא בהכרח מותאמים לכללים אלה.

דוגמאות לפתרונות[עריכת קוד מקור | עריכה]

הפתרונות בתחום מגיעים מחברות מובילות בתחום האיחסון כגון EMC, IBM ו-נטאפ, בתחום מסדי הנתונים הרלציוניים כגון טרהדטה או אורקל (על ידי Oracle Exadataי.ב.מ (באמצעות Netezza) בצד פתרונות חדשניים לא-SQL-יים כגון מסד הנתונים קסנדרה המשמש את פייסבוק, בתחום החיפוש והמידע כגון גוגל או אמזון (שהיא גם מובילה בתחום מחשוב הענן, המשיק לתחום נתוני עתק), חברות מתחום הסטטיסטיקה, כריית הנתונים והמודיעין העסקי כגון SAS,‏ SPSS,‏ Cloudera ועוד.

פתרון כגון Google BigTable, מציע קובייה רב-ממדית שכל "תא" בה מאחסן פיסת מידע בלתי מפורמטת (דף אינטרנט, תמונה, סרט וידאו, זרם נתונים בינאריים וכדומה). המפתח של התא הוא וקטור (רשימה) של שדות שמאפיינים את התא, שאחד מהם הוא חתימת-זמן מדויקת, לשם קבלת המימד ההיסטורי.

כיוונים אחרים באים מתחום החישוב המבוזר וכוללים פתרונות כמו Google MapReduce ו-Hadoop.

בינה עסקית ו-Big Data[עריכת קוד מקור | עריכה]

קיים קשר הדוק בין בינה עסקית לבין נתוני עתק. הקשר הנובע מהצורך להשתמש בכמויות מידע גדולות מאד על מנת לבצע ניתוחי בינה עסקית. התחום של בינה עסקית מבוססת נתוני עתק, מתפתח בקצב מהיר. יש הטוענים כי כלי בינה עסקית מסורתיים אינם בנויים באופן המאפשר להם להתמודד עם כמויות גדולות של נתונים. כתוצאה מכך פותחו כלי בינה עסקית ייעודיים לנתוני עתק. התחום של ניתוח ודווח נתוני נתוני עתק נקרא Big Data Analysis.

ראו גם[עריכת קוד מקור | עריכה]

לקריאה נוספת[עריכת קוד מקור | עריכה]

  • אנדרו מקאפי ואריק בריניולפסון, "מה חייבים לדעת מנהלים על מהפכת נחשולי הנתונים", אקזקיוטיב, דצמבר 2012 - ינואר 2013.


קישורים חיצוניים[עריכת קוד מקור | עריכה]

הערות שוליים[עריכת קוד מקור | עריכה]

  1. ^ אוריאל דסקל, והמספר הנוסף הוא..., באתר כלכליסט, 3 ביולי 2014