מחסן נתונים

מחסן נתונים (אנגלית: Data Warehouse)הוא בסיס נתונים המשמש מערכות תומכות החלטה. הנתונים לרוב מיוצאים ממערכת אחת או מספר מערכות תפעוליות לשם הסקירה.

מחסן הנתונים לרוב משמר את היכולות שלו בעזרת שלוש שכבות: הצגה, היתוך וגישה. כל יכולות מחסן הנתונים נבנות בכדי לשרת את משתמש הקצה. הצגה נועדה בכדי לשמור את הנתונים הגולמיים לשימוש מאוחר יותר ע"י מפתחים (מנתחים ותומכים). שכבת ההיתוך נועדה בכדי לחבר, להשוות ולהצליב בין מידע ממקומות ומסוגים שונים ובכדי שתהיה שכבת אבסטרקציה מהמשתמש. שכבת הגישה נועדה לייצא או להציג מידע למשתמש.

הגדרה זאת של מחסן נתונים מתמקדמת בצד האיחסוני. מקורות המידע מטוהרים, עוברים עיבוד, קיטלוג ומובאים לשימוש ע"י מנהלים ובעלי מקצוע אחרים לשם בינה עסקית, כריית מידע ועיבוד אנליטי מקוון. אולם האמצעים הטכניים אותם משמישים בכדי להביא את הנתונים למצב הזה (בפרט תהליך Extract, Transform, Load) וניהול ה-Metadata] נחשבים גם חלקים מרכזיים במושג מחסן נתונים. הפניות רבות למושג מחסן הנתונים מדברות על הגדרה זאת.

מדוע נדרש מחסן נתונים?

הצורך במחסן נתונים עולה כאשר ארגון זקוק לניתוח ודיווח אמין, משולב ואחיד של כלל הנתונים שלו ברמות צבירה שונות.

המציאות הפרקטית של ארגונים רבים היא שתשתיות המידע שלהם מנוהלות ע"י מספר מערכות מידע הטרוגניות. כך למשל לארגון מסוים עשויה להיות מערכת שמנהלת את קשרי הלקוחות, מערכת אחרת המנהלת את משאבי האנוש, מערכת שלישית שמנהלת את ניהול המכירות ומערכת רביעית המנהלת את הכספים בארגון. לעיתים קרובות מערכות מתממשקות אחת עם השנייה בצורה לא מספקת אם בכלל ושאלות פשוטות כגון: "כמה זמן לקח לנציג לקוחות א' לעבוד מול לקוח ג'? כמה מוצרים מכרנו ללקוח ג'? האם לקוח ג' היה מרוצה מהשירות שסיפקנו לו? האם לקוח ג' שילם על מוצריו בזמן?" ונתינת תשובה לשאלות אלה עשויה להיות משימה קשה מאוד על אף שהמידע נמצא "אי שם" בין המערכות השונות.

בעייה נוספת היא שמערכות לתכנון משאבי ארגון מתוכננות בכדי לענות על צרכים ספציפיים בתוך הארגון. לדוגמא מערכת כלכלית עשויה לעזור להבין מידע על מוצר מסוים; מתי הוא נקנה, מתי הועבר ללקוח, מתי שילמו עבורו ולעיתים המערכת עשויה לספק שירותי חשבונאות נוספים כגון מניעה של תיעוד כפול. מידע כזה הוא שימושי מאוד עבור רואה החשבון של הארגון או עבור האחראי על הרכש אך מנכ"ל הארגון בהחלט לא מעוניין במידע ממוקד כ"כ. המנכ"ל לרוב מתעניין בשאלות כגון "מה היא העלות?" או "האם היוזמה האחרונה שלנו הורידה את ההוצאות שלנו?".

כדי להתגבר על בעיות אלה, מעתיקים את הנתונים למחסן הנתונים, שם הנתונים ממקורות שונים מועברים לסטנדרט אחיד.

עיבודי מחסן הנתונים ועיבודי בסיסי נתונים תפעוליים

המערכות האנליטיות והדיווחיות ממחסן הנתונים שונות באופן מהותי ממערכות עיבוד תנועות.
ההבדלים המהותיים הם:

• זמני תגובה - מערכת עיבוד תנועות היא במקרים רבים מתבצע עיבוד תנועות מקוון המכתיב זמני תגובה קצרים ויציבים. במערכות אנליטיות העובדות מול מחסן נתונים מתבצעים עיבודים מורכבים העשויים לארוך זמן רב ולכן אינן מחיבות זמן תגובה קצר.
• כמות המידע - מערכת עיבוד תנועות במקרים רבים מבצעת טרנסקציות על מידע מועט. מערכות מחסן נתונים מתבצעות על כמויות גדולות של מידע.
• יחס קריאה/כתיבה - במערכות עיבוד תנועות יחס זה הוא נמוך יותר - במערכות עיבוד תנועות מתבצעת כתיבה לבסיס הנתונים ועדכון בסיס הנתונים כחלק מהעבודה. במערכות מחסן נתונים נדיר מאד ביצוע פעולות כתיבה והן בעיקרן מערכות של קריאה בלבד. פעולות הכתיבה נעשות במרוכז כאשר נעשית טעינת נתונים תקופתית למחסן הנתונים.

הבדלים מהותיים אלה גורמים לכך שמבחינה טכנית אופן העבודה בשתי הסביבות שונה:

• אופן העבודה השונה יוצר סכימות נתונים שונות בבסיס נתונים תפעולי ובמחסן נתונים. כמו כן בבסיסי נתונים של מחסן נתונים לעתים לא נשמרים חוקי הנרמול של בסיסי הנתונים היחסיים.
• היות שבמערכות מחסן מידע אין Locality of Reference הן אינן יכולות להפיק תועלת מזיכרון מטמון (Cache) ומדיסקים אלקטרוניים (SSD).

מוצרי תוכנה

בסיסי הנתונים המשמשים מחסן נתונים הם בסיסי נתונים יחסיים. גם בסביבות מחסן הנתונים נפוץ השימוש בשלושת בסיס הנתונים היחסיים הנפוצים: אורקל, DB2, Microsoft SQL Server ובנוסף להם Teradata. בסיס הנתונים האחרון שצוין הוא בסיס נתונים ייעודי למחסני נתונים והוא משולב עם חומרה ייעודית. Teradata משמש בעיקר ארגונים גדולים עם מחסני נתונים גדולים במיוחד.
החל משנת 2009 מציעה גם חברת אורקל מוצר המשלב חומרה ובסיס נתונים עבור מחסן נתונים. המוצר נקרא Exadata. המהדורה הראשונה מבוססת על חומרה של חברת HP והמהדורה השניה על חומרה של חברת סאן.

קשיים ובעיות

• פרויקטים של הקמת מחסני נתונים הם פרויקטים מורכבים האורכים זמן רב (בדרך כלל מספר שנים) ועלותם יקרה. זו הסיבה לכך שחלק מהארגונים אימצו גישה חלופית של הקמת הדרגתית של מאגרי נתונים חלקיים וקטנים יותר הנקראים Data Marts.
• בנייה נכונה של היישומים. אחד הגורמים לאי-הצלחה ביישומים הוא שהם מכווני יחידת המחשוב במקום לאפשר למשתמש העסקי להיות הגורם המוביל בנושא זה.
• עלויות תחזוקה גבוהות הנובעות מהצורך בטעינות תקופתיות של נתונים ומענה על שינויים עסקיים המחייבים שינויים בתכני ומבני הנתונים.
• הצורך בסינכרון מתמשך בין המערכות התפעוליות לבין מערכות מחסן הנתונים. הקושי הולך וגדל כתוצאה מהדינאמיות העסקית הגדלה הגורמת להגדלת תדירות שינויי מבני ותכני הנתונים במערכות התפעוליות וכתוצאה מקצב הגידול הגבוה בכמות הנתונים והמערכות התפעוליות ובסוגי הנתונים הנדרשים,
• איכות נתונים - איכות נתונים נמוכה מהווה גורם שכיח לכישלון פרויקטי מחסן נתונים.
• אבטחת מידע ובעלות על הנתונים - המידע שעשוי להיות מוגן במערכות התפעוליות, עלול להיות חשוף לגישה לא מורשית. הדבר נכון במיוחד לקובצי הביננים (Staging).

ראו גם

• Data Mart
• ETL
• בינה עסקית
• מערכת תומכת החלטה
• כריית מידע
• עיבוד אנליטי מקוון

לקריאה נוספת

• Kimball, Ralph and Ross, Margy. The Data Warehouse Toolkit Second Edition (2002) John Wiley and Sons, Inc. ISBN 0-471-20024-7
• Friedman, Ted and Strange, Kevin. Architecture: The Foundation of Business Intelligence April 2004, Gartner Group

קישורים חיצוניים

• הפורטל הישראלי למחסן נתונים ותובנה עיסקית
• אורט ישראל - "ממידע לידע ומודיעין עסקי - חלק ב'"
• Kimball Ralph, "Kimball University: Eight Guidelines for Low-Risk Enterprise Data Warehousing Business Intelligence: Operational BI", 2009, intelligent-enterprise.informationweek.com