ה-Inference ב-AI יוצא מגבולות ה-GPU

אתם בטח יודעים שה-AI ממשיך לכבוש שיאים במודלים של Training, אבל מה שאתם אולי פחות שמים לב אליו הוא שהקרב האמיתי עובר ל-Inference. המערכות של היום – מצ'אט-בוטים אינטראקטיביים ועד לסוכנים אוטונומיים – דורשות הרבה יותר מסתם GPU חזק. הן צריכות תשתית שמטפלת בזרימת נתונים מסיבית, בצריכת חשמל שוברת שיאים וברוחב פס ברשת. בואו נצלול למה שקורה באמת מאחורי הקלעים.

מה בעצם קרה כאן?

הסיפור המרכזי הוא ש-Inference הפך לאתגר ברמת המערכת (system-level), ולא רק לעניין של ביצועי שבב בודד. ככל שיותר חברות מכניסות יישומי generative AI ו-agentic workflows לסביבת הייצור, תשתיות ה-Inference נתקלות בצווארי בקבוק חדשים. כפי שמסבירים מומחים בתעשייה, ביצועי ה-GPU עדיין חיוניים, אבל עיכוב באחסון (storage latency), רוחב פס ברשת וצריכת כוח הם שמגדירים את העלות והמהירות של הפקת טוקנים בפועל.

קחו למשל את ה-Retrieval-Augmented Generation (RAG), שבו מודלים שולפים מידע עדכני או קנייני כדי לספק הקשר. זה דורש קריאות וכתיבות אקראיות מהירות, ולא רק throughput סדרתי. או תחשבו על מערכות agentic שבהן ההקשר (context) גדל ללא הרף – כל אלה מאתגרים את התשתית הקלאסית.

אז איך מתמודדים?

הטרנד: פירוק ה-Inference לקלאסטרים

אחת המגמות המרכזיות היא פריסה של תהליך ה-Inference לקלאסטרים נפרדים. למשל, Nvidia כבר מתחילה לשלב את Groq 3 LPU (יחידת עיבוד שפה) בקלאסטרים לשלב ה-Prefill – השלב שבו המודל מפענח את הבקשה שלכם. זה compute-intensive ודורש חומרה ייעודית. מנגד, שלב ה-Decode, שבו מתבצעת הפעולה בפועל, וביצוע של סוכנים יכולים לרוץ על תצורות אחרות, ולעיתים קרובות מחוברים באמצעות Ethernet או פרוטוקולים אחרים.

הגישה הזו של inference disaggregation מאפשרת להוזיל את עלות ה-Token באמצעות שימוש ב-heterogeneous compute. כלומר, שילוב של סוגי שבבים שונים – GPU, NPU, LPU – שכל אחד מהם מתמחה בשלב אחר. אבל זה מחייב תוכנה חכמה שתנהל את ההטרוגניות ותבצע אופטימיזציה בכל הקלאסטר.

האתגרים המרכזיים

צריכת חשמל

מרכזי נתונים נתקלים במגבלות של אנרגיה וקיבולת פיזית. כל שיפור ביעילות החשמל הוא קריטי. לדוגמה, Kioxia מדדה בדיסקים החדשים שלה, המבוססים על BiCS8 CM9, שיפור של 76% ב-random read IOPS ליחידת הספק, ושיפור של יותר מ-100% ב-random write, בהשוואה לדור הקודם. זה אומר שבאותה צריכת חשמל אפשר לעבד הרבה יותר בקשות – מה שמוריד את העלות הכוללת.

תנועת נתונים ורוחב פס

המודלים דורשים גישה מהירה לנתונים רבים, לעיתים ממקומות שונים בארגון – משרתים ראשיים ועד לאחסון מבוזר. כאן נכנסים לתמונה פתרונות כמו IBM Storage Scale, ש-Nvidia בדקה כ-shared KV cache. הגישה הזו מאפשרת לשמור הקשר שכבר חושב (cached context) בזיכרון חיצוני, במקום להעמיס על הזיכרון המוגבל של ה-GPU. בניסוי, זה סיפק זמן עד לטוקן הראשון (time-to-first-token) של פחות משנייה, גם כאשר הוסיפו עומסי רשת כדי לדמות תנאים אמיתיים.

אופטימיזציה של מקביליות

כדי להרחיב את הסקלה, משתמשים באסטרטגיות מקביליות שונות:

• Tensor parallel: דורש טופולוגיה שבה כל יחידות ה-GPU מתקשרות באמצעות all-reduce ו-broadcast, ולכן NVLink הוא מפתח.
• Data parallel: מחלקת נתונים בין יחידות.
• Context parallel: מנהלת את הזיכרון הדינמי של ההקשר.
• Pipeline parallel: מטפלת בזרימה מנקודה A ל-B.

כל אחת מהן דורשת תצורת רשת שונה, והאתגר הוא להשיג ביצועים הקרובים לפי שמונה כשמרחיבים GPU אחד לשמונה.

מעבר ל-GPU: תפקיד ה-CPU והאחסון

שימו לב ש-CPU עדיין רלוונטי. למשל, בסביבות agentic, קריאות לכלים (tool calls) ופעולות כמו MCP server מתבצעות על CPU, מה שהופך את ניהול העומסים לבעיה של תזמור בענן. בנוסף, האחסון הופך למרכזי – Supermicro משלבת Nvidia HGX B300 עם IBM Storage Scale ודיסקים של Kioxia כדי לספק שכבת ביצועים לנתונים חמים ושכבת קיבולת לנתונים קרים.

מה זה אומר לנו?

בין אם אתם מפתחי AI, מנהלי תשתיות או סתם מתעניינים – המסר ברור: ה-AI של המחר לא ירוץ על שבב בודד. הוא דורש גישה מערכתית, שילוב חומרה הטרוגנית ותוכנה שמחברת הכול. חברות כמו Supermicro, IBM ו-Nvidia כבר מציעות פתרונות מלאים (full-stack) שמטפלים ב-server rack integration, בקירור נוזלי ובאחסון תחת קורת גג אחת.

אז בפעם הבאה שאתם חושבים על פריצת דרך ב-AI, זכרו שהשבב הוא רק ההתחלה – הסיפור האמיתי נמצא בתשתית שסביבו, ושם מתרחש המרוץ האמיתי.