ידיעות בינה מלאכותית בנושא INFERENCE
NVIDIA השקיעה 20 מיליארד דולר ב-Groq וקיבלה רישיון לטכנולוגיית שבבי היסק ייעודיים, במטרה לחזק את שליטתה בשוק ה-AI. מהלך זה חושף אסטרטגיה לאמץ ארכיטקטורות חומרה מגוונות מעבר ל-GPU, תוך התמקדות בכלכלת ההיסק – שלב הפעלת המודלים שמהווה כיום 40% מההכנסות ועתיד לצמוח בקצב אקספוננציאלי.
שלוש פריצות דרך מערערות את תפיסת הבינה המלאכותית: רשת מבוזרת של מודלים קטנים (Swarm Inference) מנצחת את הענקיות הטכנולוגיות, מחקר חושף יתרונות מודלים קטנים בתעשייה, ופיתוח חומר חדש בטוקיו מפחית התנגדות חשמלית בפוטנציאל לשבבים חסכוניים יותר.
Ant Group השיקה את dInfer - מסגרת קוד פתוח לייעול תהליכי ה-inference במודלי דיפוזיה של AI. לפי החברה, המערכת מהירה פי 3 מפתרון vLLM של אוניברסיטת קליפורניה ופי 10 מפתרון Fast-dLLM של NVIDIA, עם יכולת ייצור של 1,011 טוקנים בשנייה. הצעד משקף מאמץ סיני לפצות על מחסור בשבבי AI מתקדמים באמצעות אופטימיזציה תוכנתית.