OpenAI טוענת: שבב ה-AI שלה יעיל יותר ב-Inference

OpenAI פרסמה אתמול (ג') את תוצאות הבנצ'מרק הרשמיות הראשונות של Jalapeño — שבב ה-Inference הראשון שהיא תכננה בעצמה. והמספרים מרשימים: פי 1.5 עד 1.9 יותר עבודה לוואט בשיא ה-Throughput, ופי 1.7 עד 3.6 פחות Latency מקצה לקצה במערכות ההשוואה. בתרחישים אינטראקטיביים במיוחד, הפער עולה עד פי 2.1 עד 4.1 בביצועים.

בעברית פשוטה: OpenAI טוענת שהיא הצליחה לשבור את הפשרה הקלאסית בעולם החומרה ל-AI — בין כמות גדולה של עבודה לבין זמני תגובה מהירים — וגם לעשות את זה עם פחות חשמל.

אז מה בעצם קרה כאן?

Jalapeño הוא שבב Inference מותאם אישית — לא מיועד לאימון מודלים (Training), שם Nvidia עדיין שולטת כמעט לחלוטין, אלא לשלב שבו מודלים שכבר אומנו עונים על פרומפטים ומבצעים משימות. כלומר, זה השבב שבסופו של דבר קובע כמה מהר המשתמשים מקבלים תשובות, כמה Agents יכולים לפעול במקביל וכמה כל זה עולה.

OpenAI מדדה את Jalapeño על InferenceX — בנצ'מרק פומבי מבית SemiAnalysis, שמודד את התהליך המלא של עיבוד בקשת AI. ההתמודדות הייתה מול מערכות זמינות מסחרית, כולל ה-GB300 של Nvidia, שנחשב למוביל בבנצ'מרק הזה. הבדיקה נערכה על שלושה מודלים: GPT-OSS 120B של OpenAI עצמה, DeepSeek R1 670B ו-Kimi K2.5 1T של Moonshot AI — הגדול שבהם.

הנתונים היבשים

דירוג ההספק של השבב הוא 700W, אבל ההספק הרציף נשאר לכל היותר על 550W במהלך עומסי העבודה שנבדקו. ב-Kimi K2.5 1T נמדדו ביצועי שיא לוואט שהיו גבוהים בערך פי 1.5, לצד Latency נמוך פי 3.4 מקצה לקצה, בהשוואה למערכת הייחוס. במעבר לתרחיש עבודה אינטראקטיבי במיוחד, עם דרישות Latency מחמירות, היתרון גדל עד פי 4.1 בביצועים.

OpenAI מציינת שבמבחנים פנימיים, היתרון התרחב עוד יותר עם מודלים גדולים של החברה עצמה — מה שמרמז שהיתרון גדל כשהעומס והמודל גדלים.

מה זה אומר על השוק?

Jalapeño נכנס לשוק שבו Nvidia נהנית ממונופול כמעט מוחלט על Inference של AI. אנליסטים ציינו ל-CNBC ששבב ה-Inference של ענקית ה-AI מהווה "איום על שולי הרווח של Nvidia בתחום ה-Inference — שזה התחום שצומח הכי מהר כרגע".

הבנייה העולמית של מרכזי נתונים יצרה ביקוש מסיבי לשבבים של Nvidia, ומנייתה זינקה בהתאם. אבל ענקיות הטק — Google, AWS, Meta, ועכשיו OpenAI — כולן מפתחות סיליקון מותאם אישית. Jalapeño מראה, לדברי אנליסט ב-Yole Group, ששבב שתוכנן בידי היפרסקיילר יכול עכשיו להשתוות ל-GPUs של Blackwell מבית Nvidia ביעילות Inference, או לעלות עליהם.

שיתוף הפעולה עם Broadcom

OpenAI פיתחה את Jalapeño בשיתוף עם Broadcom, שמייצרת שבבים מותאמים אישית ללקוחות שונים. השתיים הכריזו על השותפות בשנה שעברה, וכבר בקיץ האחרון דיברו על קצב פיתוח שיא. החברה כבר עובדת על הדור השני והשלישי של השבב, ו-Jalapeño צפוי להיכנס לתשתית המחשוב של OpenAI עד סוף השנה.

על מה מדברים ב-Silicon Valley

Richard Ho, סמנכ"ל החומרה של OpenAI, אמר לעיתונאים שהשבב מציע "best of both worlds" — Latency נמוך ו-Throughput גבוה — בעוד שמערכות חומרה קיימות נאלצות במקרים רבים לבחור בין השניים. בביקור ב-Bloomberg Tech הוא ציין שהשבב צפוי "להוריד עלויות משמעותית" כשהוא ייפרס בהיקף רחב.

Ho גם אמר בריאיון ל-LA Times של-Jalapeño יש פוטנציאל להחליף את השימוש ב-Cerebras Systems בחלק מהמודלים של OpenAI, בזכות העובדה שהוא מטפל במודלים גדולים יותר. עם זאת, הבהיר שהחברה "צריכה כל כך הרבה כוח מחשוב" שהיא תמשיך לעבוד עם ספקים מרובים.

מה לא נבדק

ראוי לציין: Jalapeño לא נמדד מול דור השבבים החדש של Nvidia, Vera Rubin, שרק התחיל להישלח ללקוחות. ובכל מקרה, הוא מיועד אך ורק ל-Inference — לא ל-Training, שם Nvidia עדיין חזקה משמעותית.

OpenAI בחרה להציג את התוצאות כהוכחה ל-Full-Stack Advantage: החברה מתכננת מודלים, מוצרים, תוכנת Serving, שבבים, זיכרון, תקשורת ומערכות שלמות ביחד — ולומדת מעומסי עבודה אמיתיים כדי לייעל כל שכבה.

Ho ידבר מחר ב-Hot Chips Conference באוניברסיטת סטנפורד, והוא ציין ש-OpenAI רוצה להיות שקופה לגבי ההישגים כדי "לעזור להאיץ חדשנות בתחום שבבי ה-AI". בין החברות שפועלות בתחום: Etched, שגייסה לפי שווי של 21 מיליארד דולר ותתחיל לשלוח שבב Low-Voltage, ו-MatX, שנוסדה בידי בוגרי חטיבת הסיליקון של Google.

בסופו של דבר, זה עוד צעד במרתון להפחתת התלות ב-Nvidia. Jalapeño לא יחליף את ה-Blackwell מחר, אבל הוא מוכיח שהמונופול בתחום ה-Inference נמצא תחת לחץ גובר. ואם OpenAI תצליח לייצר בקנה מידה גדול ולחסוך בעלויות החשמל — כפי ש-Richard Ho מבטיח — זה יורגש בכיס של כל מי שמריץ AI Workloads.