ScaleFlux: צווארי הבקבוק ב-AI הם בזיכרון, לא בחישוב

אתם יודעים מה מעצבן? שקניתם GPU יקר ל-AI, אבל הוא יושב מיותם. למה? כי צווארי הבקבוק עברו מחישוב לזיכרון ולאחסון. ScaleFlux טוענת שצריך לשנות את הגישה, וזה מה שעומד בבסיס הדיון בפורום AI Data Pipeline.

GPU עובד בקצב של 20–22 טרהבייט לשנייה, אבל שכבות הזיכרון שמתחתיו מאיטות את הכול משמעותית. DRAM, לדוגמה, איטי פי 37–40 מהקצב שה-GPU דורש, ואחסון איטי פי 800. ״צווארי בקבוק נוצרים בכל מקום כשהנתונים זורמים מ-GPU לזיכרון ולאחסון. צווארי הבקבוק רק מתגברים,״ אומר Pichai Balaji, סגן נשיא למוצרים ושיווק ב-ScaleFlux.

הפתרון של ScaleFlux הוא פיתוח של בקרים ל-SSD ולזיכרון CXL, שמאפשרים לנצל NAND כזיכרון פעיל, לא רק כשטח אחסון. ״כאן ה-NAND לא חייב לשמש כמכשיר אחסון, אפשר להשתמש בו כמכשיר זיכרון. בקר SSD חכם או בקר CXL יכולים לנצל את תכונות ה-NAND בדרכים שונות,״ מסביר Balaji. החברה הראתה יותר מ-200 streams של data placement גמיש, ו-7–10 כתיבות ביום על NAND רגיל מסוג TLC. וזה חשוב כי לקוחות יכולים לבנות על כל NAND שהם מוצאים, בלי להיות תלויים בספק ספציפי.

מנכ״ל ScaleFlux, Hao Zhong, מוסיף שבשמונה השנים האחרונות, ביצועי GPU התקדמו פי 1,000, אבל נתיבי הנתונים לא עומדים בקצב. ״אנחנו צריכים לשמור על ה-data pipeline. אחרת, לא נקבל מספיק יעילות,״ הוא אומר. במיוחד עכשיו, כשיישומי AI עוברים מ-training ל-inference ולעומסי עבודה סוכניים, שדורשים הרבה נתונים קרובים למעבד.

ScaleFlux מציגה בקרים חדשים ל-SSD בתקן PCIe Gen 6 ולזיכרון CXL. ״מה שאנחנו עוזרים למערכת האקולוגית לעשות זה לבנות את הבקרים לשלבים השני והשלישי של נתיב הנתונים,״ אומר Zhong. הפתרון שלהם כולל reference design מלא, שותפים לייצור ויכולת לעזור ללקוחות להקים הכול בקנה מידה. ״אנחנו יכולים להפעיל את ה-NAND הזה, לתת את העיצוב המלא, להביא את שותף הייצור שלנו ולחבר את הכול כדי להגדיל את הקנה מידה,״ מוסיף Balaji.

בסופו של דבר, זה עניין של יעילות. אם אתם מתכננים חוות AI, אולי הגיע הזמן להסתכל על הזיכרון והאחסון, לא רק על ה-GPU. כי אם הנתונים לא זורמים, כל החישוב בעולם לא יעזור.

(אז בפעם הבאה שאתם חושבים על שדרוג, תבדקו את ה-SSD, לא רק את מהירות השעון.)