ידיעות בינה מלאכותית בנושא INFERENCE
כלכלת ה-AI עוברת ממדד של כוח מחשוב גולמי למדד של יעילות הפקת טוקנים. CoreWeave הופכת מספקית GPU לחברת תשתיות מלאה, עם ענן AI, חומרת Nvidia מהדור הבא ולקוח ראשון — חברת הסוכנים Cognition AI. המגמה משנה את האופן שבו מודדים עלויות ומעצבת את ההחלטות שלכם כמפתחים.
AWS השיקה את CloudWatch Omni, שירות ניטור והערכה אחוד ל-AI גנרטיבי ולעומסי עבודה מבוססי סוכנים. הוא מציע כלי אימות מובנים ושיתוף פעולה צוותי, ונועד לענות על השאלה למה סוכנים מתנהגים מוזר. עם תחזית של מיליארד סוכנים עד 2029, זה הופך לכלי קריטי עבור ארגוני טכנולוגיה.
Equinix הכריזה באירוע Horizon על שירותים חדשים שיהפכו את הרשת למרכז בקרה לבינה מלאכותית ארגונית. השירותים, ובהם Equinix Fabric One ו-Inference Exchange עם Nvidia ו-Together AI, מתמקדים ב-Inference — החלק הקריטי שבו ה-AI מקבל החלטות בזמן אמת. השירותים יהיו זמינים ב-2027 וצפויים לשנות את האופן שבו חברות מנהלות עומסי AI מבוזרים.
OpenAI פרסמה את תוצאות הבנצ'מרק הראשונות של Jalapeño, שבב ה-Inference הראשון שפיתחה בעצמה. השבב מציג פי 1.5–1.9 יותר עבודה ליחידת חשמל ופי 1.7–3.6 פחות Latency ממערכות קיימות — כולל ה-GB300 של Nvidia. Jalapeño יוטמע בתשתית החברה עד סוף השנה, ו-OpenAI כבר עובדת על הדור השני והשלישי.
תחזיות חדשות מנבאות שמניות של חברות שבבים ל-AI, כמו Micron ו-AMD, יעקפו את Nvidia בשלוש השנים הקרובות, על רקע ביקוש גובר ל-inference ול-agentic AI והוצאות עתק של חברות הענן – למעלה מ-700 מיליארד דולר השנה.
מחקר של Gartner צופה שעלויות ה-inference של תהליכי AI אג'נטיים יגדלו ביותר מפי חמישה עד 2028, למרות ירידת מחירי הטוקנים. הסיבה: מערכות AI מורכבות יותר צורכות הרבה יותר טוקנים, וחברות כבר חורגות מתקציבים. זה נקרא ״פרדוקס ה-inference״ — החדשנות מתקדמת מהר יותר מההוזלות.
Anthropic צפויה לרכוש את הסטארטאפ הישראלי Decart תמורת 7 מיליארד דולר, בעסקה שתהפוך את שלושת המייסדים הצעירים למיליארדרים. הרכישה, בין הגדולות בהיי-טק הישראלי, תוביל להעברת פעילות פיתוח משמעותית של חברת ה-AI האמריקאית לישראל, ותציב את הטכנולוגיה הישראלית בלב המירוץ העולמי.
OpenAI ו-Cerebras משיקות את Ultrafast, שכבת API חדשה שפועלת על GPT-5.6 Sol במהירות של עד 750 טוקנים בשנייה — פי 14 מהמהירות הרגילה. המטרה: להפוך מודלים גדולים ו״חכמים״ למתאימים גם לתרחישים שבהם לזמן יש חשיבות, כמו שירות לקוחות חי וניתוח פיננסי. כרגע השירות זמין בתצוגה מקדימה מוגבלת ללקוחות נבחרים.
AMD רכשה את Taalas, סטארטאפ קנדי שפיתח שבבים שמקבעים מודלי AI בסיליקון כדי להאיץ inference. העסקה תחזק את AMD מול Nvidia עם ביצועים של אלפי tokens לשנייה, אך השימוש בשבבים דורש תכנון מחדש עבור מודלים חדשים. Taalas גייסה 219 מיליון דולר מאז 2023, והשבב הראשון שלה מריץ את Llama 3.1.
Vultr מציגה שותפות עמוקה עם AMD וטוענת לעד 33% יותר ביצועים במחיר 82% פחות מה-hyperscalers. החברה מפעילה 33 מרכזי נתונים גלובליים עם ארכיטקטורות פתוחות ותואמת לדרישות Sovereign AI. האסטרטגיה מתמקדת בעידן ה-inference וה-agentic, עם פתרון משותף עם VAST Data ו-SUSE לפריסה מהירה ברובוטיקה, פיננסים ובריאות.
Etched, סטארטאפ שבבים ל-AI, גייס 300 מיליון דולר והכפיל את שוויו ל-10.3 מיליארד דולר בתוך שבעה חודשים, עם הזמנות של מיליארד דולר שכבר מאובטחות. המייסדים, נושרי הרווארד, מתגברים על ספקנות עם טכנולוגיה ייחודית שמכוונת ל-inference וקוצרת התעניינות מענקיות ה-AI.
מדד ה-performance per watt הופך למרכזי בחוות AI, כש-NVIDIA מובילה שיפורים של פי 25 ביעילות לעומת דורות קודמים. המעבר נדחף על ידי גבולות חשמל וצורך ברווחיות, כאשר חברות כמו Anthropic כבר מיישמות. אחסון SSD מתקדם, כמו ה-122 טרה-בייט של Solidigm, מאפשר הפחתת צריכת חשמל ב-80%, מפנה אנרגיה ל-GPUs ומניע ארכיטקטורות חדשות.
חברת ה-AI הסינית DeepSeek מפתחת שבב היסק משלה כדי להפחית תלות ב-Nvidia וב-Huawei. הפרויקט, שהחל לפני כשנה, מצטרף למגמה עולמית שבה חברות AI מפתחות שבבים פנימיים — אך הדרך לייצור המוני רצופה מכשולים טכנולוגיים וכלכליים.
NVIDIA השקיעה 20 מיליארד דולר ב-Groq וקיבלה רישיון לטכנולוגיית שבבי היסק ייעודיים, במטרה לחזק את שליטתה בשוק ה-AI. מהלך זה חושף אסטרטגיה לאמץ ארכיטקטורות חומרה מגוונות מעבר ל-GPU, תוך התמקדות בכלכלת ההיסק – שלב הפעלת המודלים שמהווה כיום 40% מההכנסות ועתיד לצמוח בקצב אקספוננציאלי.
שלוש פריצות דרך מערערות את תפיסת הבינה המלאכותית: רשת מבוזרת של מודלים קטנים (Swarm Inference) מנצחת את הענקיות הטכנולוגיות, מחקר חושף יתרונות מודלים קטנים בתעשייה, ופיתוח חומר חדש בטוקיו מפחית התנגדות חשמלית בפוטנציאל לשבבים חסכוניים יותר.
Ant Group השיקה את dInfer - מסגרת קוד פתוח לייעול תהליכי ה-inference במודלי דיפוזיה של AI. לפי החברה, המערכת מהירה פי 3 מפתרון vLLM של אוניברסיטת קליפורניה ופי 10 מפתרון Fast-dLLM של NVIDIA, עם יכולת ייצור של 1,011 טוקנים בשנייה. הצעד משקף מאמץ סיני לפצות על מחסור בשבבי AI מתקדמים באמצעות אופטימיזציה תוכנתית.
