TPU

יחידת עיבוד טנזור (TPU) הוא מאיץ יישומים מסוימים מבוסס מעגל משולב (ASIC) שפותחה על ידי גוגל עבור למידת מכונה של רשתות עצביות, באמצעות תוכנת TensorFlow של גוגל עצמה. גוגל החלה להשתמש ב-TPU בפנים הארגון ב-2015, וב-2018 איפשרה שימוש בהן גם לצד שלישי, הן כחלק מתשתית הענן שלה והן על ידי מכירת גרסה קטנה יותר של השבב.

השוואה למעבדים וכרטיסי גרפיקה

בהשוואה לכרטיס גרפיקה, TPU יוצר עבור נפח גבוה של חישובים מדויקים נמוכים (למשל עד 8 סיביות בלבד) עם יותר פעולות קלט/פלט לג'ול, בלי חומרה עבור רסטריזציה/מיפוי טקסטורה.

המעגלים המשולבים של ה-TPU מותקנים במארז קירור, שיכול להתאים בחריץ כונן קשיח בתוך מארז במרכז נתונים.

סוגים שונים של מעבדים מתאימים לסוגים שונים של מודלי למידת מכונה. TPU מתאימים במיוחד לרשתות נוירונים עמוקות מסוג CNN, בעוד לכרטיסי גרפיקה יש יתרונות עבור חלק מרשתות עצביות בעלות שכבות מלאות, ומעבדים יכולים להיות בעלי יתרונות עבור רשתות נוירונים רקורסיביות (RNN).

היסטוריה

יחידת עיבוד הטנזור הוכרזה במאי 2016 בכנס Google I/O, כאשר החברה אמרה כי ה-TPU כבר בשימוש בתוך מרכזי הנתונים שלהם במשך למעלה משנה. השבב עוצב במיוחד עבור מסגרת העבודה TensorFlow של גוגל, ספריית מתמטיקה סימבולית המשמשת עבור יישומי למידת מכונה כמו רשתות נוירונים. עם זאת, נכון ל-2017 גוגל עדיין השתמשה במעבדים וכרטיסי גרפיקה עבור סוגים אחרים של למידת מכונה.

ה-TPU של גוגל הן קנייניות. חלק מהמודלים זמינים מסחרית, וב-12 בפברואר 2018 דווח בניו יורק טיימס כי גוגל "תאפשר לחברות אחרות לרכוש גישה לשבבים הללו באמצעות שירות הענן המחשוב שלה". גוגל אמרה כי השתמשה ב-TPU בסדרת משחקי הגו בין AlphaGo ללי סדול, כמו גם במערכת AlphaGo Zero, שיצרה תוכניות שחמט, שוגי וגו רק מכללי המשחק והביסה את השחקנים המובילים במשחקים אלה. גוגל גם השתמשה ב-TPU עבור עיבוד טקסט ב-Google Street View והצליחה למצוא את כל הטקסט במסד הנתונים של סטריט ויו בפחות מחמישה ימים. ב-גוגל תמונות, יחידת TPU בודדת יכולה לעבד מעל 100 מיליון תמונות ביום. כמו כן משמש ב-RankBrain שגוגל משתמשת בו כדי לספק תוצאות חיפוש.

גוגל מספקת לצד שלישי גישה ל-TPU באמצעות שירות ה-Cloud TPU שלה כחלק מפלטפורמת הענן Google Cloud ובאמצעות השירותים מבוססי המחברות שלה Kaggle ו-Colaboratory.

מוצרים

TPU דור ראשון

הדור הראשון של TPU הוא מנוע כפל מטריצות של 8 ביט, המונע על ידי הוראות CISC על ידי המעבד המארח דרך פס PCI Express. הוא מיוצר בתהליך 28 ננומטר עם גודל שבב של ≤ 331 מ"מ מרובע. מהירות השעון היא 700 מגההרץ וההספק התרמי המתוכנן שלו הוא 28–40 ואט. יש לו 28 מ"ב של זיכרון על השבב, ו-4 מ"ב של אצבעות מצטברות בנות 32 ביט המקבלות את תוצאות מערך סיסטולי של 256x256 מכפילים בני 8 ביט. בתוך אריזת ה-TPU יש 8 ג"ב של DDR3 SDRAM דו-ערוצי בתדר 2133 מגההרץ המציע רוחב פס של 34 ג"ב / שנייה. הוראות מעבירות נתונים אל או מהמארח, מבצעות כפל מטריצות או קינולים, ומיישמות פונקציות הפעלה.

TPU דור שני

TPU הדור השני הוכרז במאי 2017. גוגל ציינה כי תכנון הדור הראשון הוגבל על ידי רוחב הפס של הזיכרון והשימוש ב-16 ג"ב של זיכרון רוחב פס גבוה בתכנון הדור השני הגדיל את רוחב הפס ל-600 ג"ב / שנייה ואת הביצועים ל-45 טרהפלופס. לאחר מכן מסודרות ה-TPU במודולים בני ארבעה שבבים עם ביצועים של 180 טרהפלופס. לאחר מכן 64 ממודולים אלה משולבים לתאי פודים בני 256 שבבים עם ביצועים של 11.5 פטהפלופס. יש לציין, בעוד ש-TPU הדור הראשון הוגבל למספרים שלמים, ה-TPU הדור השני יכול גם לחשב בנקודה צפה. זה הופך את ה-TPU מדור שני לשימושי הן לאימון והן להסקה של מודלי למידת מכונה. גוגל ציינה כי TPU מדור שני אלה יהיו זמינים על Google Compute Engine לשימוש ביישומי TensorFlow.

TPU דור שלישי

TPU הדור השלישי הוכרז ב-8 במאי 2018. גוגל הודיעה כי המעבדים עצמם חזקים פי שניים מ-TPU הדור השני, ויופרסו בתאי פודים עם פי ארבעה יותר שבבים מאשר הדור הקודם. דבר זה מתורגם לעלייה של פי 8 בביצועים לכל פוד (עם עד 1024 שבבים לכל פוד) בהשוואה לפריסת TPU הדור השני.

TPU דור רביעי

ב-18 במאי 2021, מנכ"ל גוגל סונדר פיצ'אי דיבר על יחידות עיבוד טנזור TPU v4 במהלך נאום הפתיחה שלו בכנס הווירטואלי Google I/O. TPU v4 שיפר את הביצועים ביותר מפי 2 על שבבי TPU v3. פיצ'אי אמר "פוד v4 בודד מכיל 4,096 שבבי v4, ולכל פוד יש רוחב פס קישוריות בין-שבבית פי 10 בקנה מידה, בהשוואה לטכנולוגיית רשת אחרת”.

TPU דור חמישי

ב-2021, גוגל חשפה שהפריסה הפיזית של TPU v5 מבוצעת באמצעות יישום חדשני של למידה עמוקה עם חיזוקים. גוגל רואה את TPU v5 כשייך לאותו דור כמו H100 ונכון ליוני 2023 מצפה שיהיה ניתן להשוות בנצ'מארק כזה במהלך 2023.

Edge TPU

ביולי 2018, גוגל הודיעה על Edge TPU. Edge TPU הוא שבב ASIC בעל מטרה ייעודית שתוכנן על ידי גוגל להריץ מודלי למידת מכונה (ML) עבור מחשוב שוליים, כלומר הוא הרבה יותר קטן וצורך הרבה פחות הספק בהשוואה ל-TPU שאוחסנו במרכזי הנתונים של גוגל (הידועים גם בשם Cloud TPU). בינואר 2019, גוגל הפכה את Edge TPU זמין למפתחים עם קו מוצרים תחת המותג Coral. Edge TPU מסוגל ל-4 טריליון פעולות לשנייה עם 2 ואט של הספק חשמלי.

היצע המוצרים כולל מחשב לוח בודד (SBC), מודול מערכת על שבב (SoM), אביזר USB, כרטיס mini PCI-e וכרטיס M.2. לוחות ה- SBC Coral Dev ו- Coral SoM רצים שניהם את מערכת ההפעלה Mendel Linux - נגזרת של Debian. המוצרים USB, PCI-e ו- M.2 פועלים כתוספות למערכות מחשב קיימות, ותומכים במערכות לינוקס מבוססות Debian על מארחי x86-64 ו- ARM64 (כולל Raspberry Pi).

סביבת הריצה של למידת המכונה המשמשת להרצת מודלים על Edge TPU מבוססת על TensorFlow Lite. Edge TPU מסוגל להאיץ רק פעולות מעבר קדמי, מה שאומר שהוא שימושי בעיקר לביצוע הסקות (למרות שאפשרי לבצע למידה עמוקה קלה על Edge TPU). Edge TPU תומך רק בחישובים בדיוק של 8 ביט, מה שאומר שעל מנת שרשת תהיה תואמת ל- Edge TPU, היא צריכה או להיות מאומנת באמצעות טכניקת אימון מודעת לכמותנטציה של TensorFlow, או מאז סוף 2019 אפשר גם להשתמש בכמותנטציה לאחר אימון.

ב-12 בנובמבר 2019, Asus הודיעה על זוג מחשבי לוח בודדים (SBC) עם Edge TPU. לוחות Tinker Edge T ו- Tinker Edge R של Asus תוכננו עבור IoT ו-AI שוליים. ה-SBC תומכים רשמית במערכות ההפעלה אנדרואיד ו- Debian. ASUS גם הראתה מיני מחשב בשם Asus PN60T עם Edge TPU.

ב-2 בינואר 2020, גוגל הודיעה על מודול המאיץ Coral ו- Coral Dev Board Mini, שהוצגו ב- CES 2020 מאוחר יותר באותו החודש. מודול המאיץ Coral הוא מודול רב-שבבי הכולל את Edge TPU, ממשקים PCIe ו- USB לאינטגרציה קלה יותר. לוח ה- Coral Dev Board Mini הוא SBC קטן יותר עם מודול המאיץ Coral ומעבד SoC MediaTek 8167s.

ליבת העיבוד הנוירוני של פיקסל

ב-15 באוקטובר 2019, גוגל הודיעה על הטלפון החכם פיקסל 4, אשר מכיל Edge TPU הנקרא ליבת העיבוד הנוירוני של פיקסל. גוגל מתארים אותו כ"מותאם באופן מיוחד על מנת לעמוד בדרישות של תכונות מצלמה מרכזיות בפיקסל 4", תוך שימוש בחיפוש רשת נוירונית שמקריבה חלק מהדיוק לטובת מיזעור עיכוב וצריכת הספק.

שבב גוגל טנזור

גוגל המשיכה אחרי ליבת העיבוד הנוירוני של פיקסל על ידי שילוב Edge TPU לתוך שבב מערכת על שבב מותאם אישית בשם שבב גוגל טנזור, שיצא ב-2021 עם סדרת הטלפונים החכמים פיקסל 6. שבב גוגל טנזור הדגים "יתרונות ביצועים עצומים על התחרות" בבנצ'מארקים ממוקדי למידת מכונה; למרות שצריכת ההספק הרגעית גם הייתה גבוהה יחסית, הביצועים המשופרים אומרו שפחות אנרגיה נצרכה בגלל תקופות קצרות יותר הדורשות ביצועי שיא.

קישורים חיצוניים

מדיה וקבצים בנושא TPU בוויקישיתוף

• מסמכים רשמיים של גוגל בנושא TPU
• תמונה של TPU על לוח