Zyphra משיקה את ZAYA1: מודל MoE שאומן במלואו על AMD Instinct MI300X
חברת Zyphra השיקה את ZAYA1, מודל MoE בקנה מידה גדול שאומן במלואו על מעבדי AMD Instinct MI300X, בשילוב רשתות Pensando ותוכנת ROCm. המודל מתעלה על Llama-3-8B במבחני ביצועים מרכזיים, עם יעילות גבוהה הודות ל-192GB HBM וזמני שמירה מהירים פי 10.
Zyphra חושפת את ZAYA1: פריצת דרך באימון מודלי AI על חומרת AMD
חברת Zyphra השיקה את ZAYA1, מודל בסיס מסוג Mixture-of-Experts (MoE) בקנה מידה גדול, הראשון בעולם שאומן באופן מלא על פלטפורמת GPU ורשת של AMD. ההישג התאפשר הודות למעבדי ה-AMD Instinct MI300X GPUs, רשת ה-AMD Pensando ותוכנת ה-ROCm הפתוחה. הדוח הטכני של Zyphra מציג תוצאות מרשימות, שבהן ZAYA1-base מתעלה או משתווה למודלי קוד פתוח מובילים במבחני חשיבה, מתמטיקה וקידוד.
ביצועים תחרותיים ומצוינים
מודל ZAYA1-Base כולל 8.3 מיליארד פרמטרים בסך הכול ו-760 מיליון פרמטרים פעילים בלבד. הוא מתעלה על Llama-3-8B של Meta ועל OLMoE במספר מבחנים, ומתחרה בביצועים של Qwen3-4B של Alibaba ושל Gemma3-12B של Google. זאת, תוך שימוש בחלק קטן בלבד של הפרמטרים הפעילים בהשוואה למודלים אלה.
יתרונות חומרת AMD MI300X
זיכרון ה-HBM בנפח 192GB של מעבד ה-Instinct MI300X אפשר אימון יעיל בקנה מידה גדול, ללא צורך בשיתוף מומחים (expert sharding) או טנסורים, מה שפישט את התהליך והגביר את התפוקה. בנוסף, Zyphra דיווחה על זמני שמירת מודל מהירים פי 10 הודות ל-I/O מבוזר מותאם של AMD, מה שמשפר את האמינות והיעילות בתהליך האימון.
"הובלת AMD בתחום החישוב המואץ מאפשרת לחדשנים כמו Zyphra לדחוף את גבולות האפשרי בתחום הבינה המלאכותית", אמר Emad Barsoum, סגן נשיא בכיר לקבוצת AI והנדסה ב-AMD. מנכ"ל Zyphra, Krithik Puthalath, הוסיף: "יעילות היא עיקרון מנחה ב-Zyphra. ZAYA1 משקף זאת, ואנו גאים להיות החברה הראשונה שמדגימה אימון בקנה מידה גדול על פלטפורמת AMD".
ההישג נתמך בשיתוף פעולה הדוק עם AMD ו-IBM, ומדגיש את תפקידה הגובר של AMD בתשתיות AI. זיכרון גדול ותוכנה פתוחה מאפשרים אימון מודלים מורכבים בקנה מידה תעשייתי, וממקמים את AMD כשחקנית מרכזית בתחום.
פריצה זו ממחישה כיצד עיצוב משולב של ארכיטקטורת מודלים יחד עם שבבים ומערכות יכול להניב תוצאות פורצות דרך, ומבטיחה התקדמות נוספת במודלים רב-מודליים מתקדמים.