Nvidia הופכת את הרשת לחלק מהמחשב

כמה פעמים שמעתם בשנים האחרונות את השאלה 'כמה GPUs יש לך?' בעולם ה-data center וה-AI? ובכן, מיטב המומחים בתעשייה, כולל מי שמוביל את המאמץ הזה בתוך Nvidia עצמה, טוענים שהשאלה הזו מתחילה להיות פחות רלוונטית. השאלה החדשה, והמכריעה הרבה יותר, היא: כמה יעיל ה-GPU שלך עובד?

אז מה בעצם קרה כאן?

בשנתיים האחרונות, ה-AI עבר משלב ה-training — אימון מודלים מסיביים — אל שלב ה-production: הסקת מסקנות בזמן אמת, מערכות אג'נטיות שמבצעות משימות מורכבות, ו-RAG שמחבר בין מודלים לנתונים ארגוניים. בשלב הזה, לדברי Gilad Shainer, סגן נשיא ל-Networking ב-Nvidia, הרשת מפסיקה להיות צינור שמוביל מידע בין שרתים. היא הופכת לחלק מהמחשב עצמו.

זה נשמע כמו סיסמת שיווק, אבל אם בודקים את הנתונים, מגלים שינוי תפיסה אמיתי. סקר חדש של theCUBE Research מצא ש-94.6% מ-330 הארגונים שנשאלו אמרו שהרשת הפכה ל'יותר חשובה' או 'הרבה יותר חשובה' לעמידה ביעדים העסקיים שלהם מאשר לפני שנתיים. מתוכם, 65.2% בחרו ב'הרבה יותר חשובה'.

'מפעל AI' מול 'חוות שרתים': ההבדל קריטי

Shainer מחלק את העולם לשניים: 'מפעל AI' (AI Factory) ו'חוות שרתים' (Server Farm). בחוות שרתים, אתה מרים הרבה שרתים ומחבר אותם. במפעל AI, המטרה היא לגרום לכל ה-GPUs, ה-CPUs, ה-DPUs (יחידות עיבוד נתונים) והאחסון לפעול כיחידה מתואמת אחת.

בלי תיאום כזה, יש מה שהוא מכנה 'tax on synchronization' — מס על הסנכרון. בעולם של הסקת מסקנות מבוזרת, במיוחד עם קונטקסט ארוך ומשימות אג'נטיות, ה-GPU המהיר ביותר ב-cluster לא קובע את קצב העבודה. ה-GPU האיטי ביותר קובע. עיכוב קטן ברשת — 'jitter' — יכול לגרום ל-GPUs יקרים ורבי-עוצמה לשבת בחוסר מעש בזמן שהם ממתינים לנתונים. המטאפורה של Shainer: זה כמו פס ייצור שבו המכונה המהירה ביותר ממתינה כל הזמן למכונה האיטית ביותר בקו.

הרשת כמנוע כלכלי: לא המחיר לפורט, אלא המחיר לטוקן

כאן נכנס שיקול כלכלי קריטי. Nvidia טוענת, והאנליסטים מסכימים עקרונית, שרשת טובה יותר מגדילה את מספר ה-tokens (יחידות הטקסט) שהמודל מפיק מאותה כמות חישוב וכוח. כלומר, היא מורידה את ה-cost per accepted token.

המשוואה הפשטנית היא: עלות כוללת לתשתית / כמות tokens שהתקבלו. הרשת מוסיפה לעלות הכוללת (המונה), אך אם היא משפרת את ניצול ה-GPU, מקצרת זמני המתנה ומפחיתה כשלים, היא מגדילה מאוד את המכנה — כמות ה-tokens השימושיים. זה מה ש-Nvidia מתארת כ'חינם': הרשת מממנת את עצמה דרך עלייה בתפוקה.

אבל אנליסטים מזהירים: הטענה הזו נכונה רק אם מוכיחים שיפור אמיתי בעולם האמיתי, עם המודלים שלכם ותעבורת הרשת שלכם. לקנות רשת לפי המחיר הכי זול לפורט זו טעות שעלולה לעלות ביוקר בטווח הארוך.

השאלה הגדולה: כמה 'פתוחה' Nvidia באמת?

זהו לב הדיון. מנהל הרשתות של Nvidia טוען נחרצות ש-Spectrum-X, פלטפורמת ה-Ethernet שלהם ל-AI, היא פתוחה. הם משתמשים בפרוטוקולי Ethernet סטנדרטיים, תומכים ב-SAI ו-SONiC (מערכות הפעלה לרשת), ומכשירים שלהם יכולים להתחבר לציוד של יצרנים אחרים (ולהפך).

אבל ישנה נקודה עדינה אך מכרעת: פרוטוקול פתוח לא שווה ביצועים זהים.

ה-theCUBE Research מנסחים את זה היטב: Nvidia יכולה להיות פתוחה בממשקי הקצה שלה וקניינית (proprietary) ביישום שלה בו-זמנית. אלו לא דברים סותרים.

ההבדל העצום של Nvidia מגיע מ'עיצוב-משותף-קיצוני' (extreme co-design): התיאום העמוק בין ה-NIC (מתאם רשת), ה-switch, ה-GPU, ה-DPU, התוכנה ואפילו עיצוב ה-Rack. ה-Algorithms ב-Spectrum-X שמנהלים עומסים, מפחיתים עיכובים ומאזנים תעבורה הם IP (קניין רוחני) של Nvidia.

Shainer עצמו אמר את זה הכי בפשטות: 'זה ה-IP שלנו. זאת ההטמעה של Nvidia.'

מה זה אומר בפועל? אם לקוח מחליף switch של Nvidia ב-switch תואם Ethernet של יצרן אחר, הוא יקבל קישוריות. אבל ייתכן שיאבד חלק משמעותי מהביצועים המיוחדים שה-Nvidia stack מספק. זהו מחיר היציאה (switching cost) האמיתי, וזה מה שגורם לדיוני ה'לוק-אין' (lock-in) להמשיך ולבעבע.

NVLink: לא סתם רשת מהירה, אלא הרחבת ה-GPU

בצד ה-'Scale-up' (חיבור בתוך ה-Rack או בין Racks קרובים), Nvidia לוקחים את זה עוד צעד עם NVLink. הכוונה כאן היא לחבר כל כך הרבה GPUs עם רוחב פס כל כך גבוה ו-latency כל כך נמוך, שהם יתנהגו כ-GPU לוגי אחד ענק.

כאן יש חדשנות מעניינת: 'in-network computing'. בתרחיש רגיל, כל GPU שולח את התוצאה החלקית שלו לכל ה-GPU האחרים, ואלה צריכים לבצע חישוב-reduction. ב-NVLink, ה-switch עצמו יכול לבצע את ה-reduction ברשת ולחסוך העברת נתונים מיותרת.

המספרים ש-Nvidia מציגים (לפי הצהרתה, יש לציין) הם מסחררים: NVLink 6 מציע 3.6 טרה-בייט לשנייה ל-GPU, ודומיין של 72 GPUs יכול להגיע ל-260 טרה-בייט לשנייה ברוחב פס all-to-all. שוב, אלו מפרטי יצרן, אבל הכיוון ברור: Scale-up זה לא סתם Scale-out עם מהירויות גבוהות יותר. זו בניית המאיץ עצמו.

שכבה חדשה: זיכרון הקשר (Context Memory)

אחת הנקודות המעניינות שעולות מהניתוחים היא הופעתה של שכבת תשתית חדשה: זיכרון הקשר. בהסקת מסקנות אוטורגרסיבית, המודל שומר 'מפתחות' ו'ערכים' (KV cache) המייצגים טוקנים קודמים, כדי לא לחשב הכל מחדש. עם הקשרים ארוכים וריבוי משתמשים, ה-cache הזה יכול לגדול פי 400 בשנה האחרונה.

Nvidia טוענים שצריכים להתייחס לזה כשכבת ביניים חדשה, בין הזיכרון של ה-GPU לבין אחסון מסורתי. הם מציעים פתרון שמשלב BlueField, Spectrum-X ותוכנה (Dynamo) כדי להפוך אחסון פלאש מהיר ל-cache ברמת ה-pod. הפוטנציאל: לשפר את ניצול ה-GPU ולאפשר שימוש חוזר בהקשר. החשש: להרחיב את הפלטפורמה הקניינית ולהקשות על ניוד מידע.

מה על הקונים לדרוש?

המסקנה העולה מהניתוחים היא לא 'התרחקו מ-Nvidia', אלא 'עמדו על שלכם'. אם אתם בוחנים רשת AI, אל תתבססו רק על מפרטי היצרן. דרשו:

1. בדיקות על עומסי העבודה שלכם: ריצו את המודלים שלכם, עם רצפי ההקשר שלכם ורמות העומס שלכם.
2. בדיקת החלפת רכיבים: נסו להרכיב רכיבים תואמי תקנים מיצרנים אחרים ומדדו את הפגיעה בביצועים.
3. בדיקות עמידות: הכניסו כשלים (קישורים שקרסו, עומסי יתר) וראו איך המערכת מתמודדת.

המטרה היא להפוך את טענת ה'פתוח' מול 'קנייני' למספר מדיד. אם החלפת רכיב מורידה ביצועים ב-2%, המחיר אולי שווה. אם זה מוריד תפוקה ב-30%, אז הבנתם בדיוק מה המחיר של התלות בפתרון משולב.

בסופו של דבר, Nvidia הרוויחה ביושר את ההובלה שלה בכך שזיהתה מוקדם מכולם שה-AI צריך רשת שמתפקדת כחלק מהמחשב. הרכישות החזוניות (כמו Mellanox) והאינטגרציה העמוקה הן היתרון הגדול שלה.

לסיום, שורה אחת יבשה:

בסופו של דבר, הרשת הכי 'פתוחה' היא זאת שגורמת למודל שלכם לעבוד בפועל. אבל לדעת מה המחיר שאתם משלמים על זה, זה כבר עניין אחר לגמרי.