Ant Group משיקה מסגרת AI מהירה פי 10 מפתרון של Nvidia לחישובי דיפוזיה
Ant Group השיקה את dInfer - מסגרת קוד פתוח לייעול תהליכי ה-inference במודלי דיפוזיה של AI. לפי החברה, המערכת מהירה פי 3 מפתרון vLLM של אוניברסיטת קליפורניה ופי 10 מפתרון Fast-dLLM של NVIDIA, עם יכולת ייצור של 1,011 טוקנים בשנייה. הצעד משקף מאמץ סיני לפצות על מחסור בשבבי AI מתקדמים באמצעות אופטימיזציה תוכנתית.
מהפך בביצועי מודלי דיפוזיה: dInfer של Ant Group עוקף את NVIDIA
חברת האנט Group הסינית השיקה לאחרונה את dInfer - מסגרת קוד פתוח חדשה לייעול תהליכי ה-inference (הסקת מסקנות) עבור מודלי דיפוזיה בינה מלאכותית. לפי נתוני החברה, המערכת מציגה ביצועים מרשימים:
- מהירות הגעה של 1,011 טוקנים בשנייה בבדיקת HumanEval (יצירת קוד)
- פי 3 מהיר יותר מ-vLLM של אוניברסיטת קליפורניה בברקלי
- פי 10 מהיר יותר מ-Fast-dLLM של NVIDIA
מהפכת הדיפוזיה מתגברת
בעוד שמודלי שפה אוטורגרסיביים (כמו ChatGPT) מייצרים טקסט באופן סדרתי, מודלי דיפוזיה עובדים במקביל - תכונה שהופכת אותם לאידיאליים ליצירת מדיה ויזואלית, אך פחות נפוצים בתחום העיבוד הטבעי. החדשנות של dInfer עשויה לשנות את המשוואה:
"האופטימיזציות ב-dInfer מספקות זינוק משמעותי ביעילות התפעולית של מודלים אלה, ובכך פותחות אפשרויות חדשות ליישומים תעשייתיים"
מהלכים אסטרטגיים בזירת ה-AI העולמית
ההכרזה מגיעה על רקע המאמצים הסיניים לפצות על המגבלות בשבבי AI מתקדמים באמצעות אופטימיזציה אלגוריתמית. Ant Group, חברת הבת של ענקית האינטרנט Alibaba, הדגימה את המערכת על המודל LLaDA-MoE שבפיתוחה.
המהנדסים בחברה מדגישים כי פתיחה של dInfer כקוד פתוח תאפשר לקהילת המפתחים העולמית לתרום לפיתוח הטכנולוגיה ולקדם את תחום מודלי השפה מבוססי הדיפוזיה.