Together Compiler: קוד GPU מהיר פי 1.7 מקוד שנכתב בידי מומחים
Together AI השיקה את Together Compiler — כלי שמשתמש בסוכני AI כדי לכתוב קוד GPU לאופטימיזציית אינפרנס, ועושה עבודה טובה פי 1.7 מקוד שנכתב ידנית על ידי מומחים. מודלים חדשים עוברים אופטימיזציה תוך 24 שעות במקום שבועות, והמערכת כבר משרתת טריליוני טוקנים ביום ברחבי הפלטפורמה.
קוד GPU שה-AI כותב מהיר פי 1.7 מקוד שמומחים כותבים ידנית — ואתם לא צריכים להרים אצבע. זה הסיפור של Together Compiler, הכלי החדש של Together AI, והמשמעות שלו לכל מי שמריץ מודלים גדולים בפרודקשן.
מה קרה כאן?
Together AI, חברת ענן ייעודית ל-AI, הכריזה אתמול על Together Compiler — מערכת שמשתמשת בצוותים של סוכני AI כדי לכתוב מחדש את קוד ה-GPU שמניע את המודלים שהיא משרתת. החדשות הגדולות: מודלים חדשים של קוד פתוח עוברים אופטימיזציה בין לילה, במקום שבועות, בלי שהלקוחות צריכים לעשות שום דבר.
ואם זה נשמע כמו עוד הודעת PR — בואו נדבר מספרים. בבדיקות פנימיות, הקוד שהסוכנים כתבו מהיר עד פי 1.7 מקוד שנכתב ידנית על ידי מומחי GPU, כולל המגה-קרנלים של Together AI עצמה. על Llama 1B המערכת הגיעה ל-2,100+ tokens per second, והייתה המהירה ביותר בכל אורך פלט שנבדק — גם על NVIDIA H100 וגם על B200.
למה זה רלוונטי למי מאיתנו שעובד עם מודלים?
הבעיה ידועה: ה-Inference יקר, איטי, ודורש כוונון מתמשך. כל מודל חדש, כל ארכיטקטורה חדשה, כל שינוי בזרימת התעבורה — והכול צריך לעבור אופטימיזציה מחדש. וזה קורה הרבה יותר מהר ממה שנדמה.
הנתון ש-Together AI מציינים: 80% מהתעבורה ב-OpenRouter עוברת למודלים שיצאו בשלושת החודשים האחרונים, ועשרת המודלים הפופולריים ביותר בפלטפורמה משתמשים בעשר ארכיטקטורות שונות. זה אומר שהצוות שלכם מכוון מחדש כל הזמן — או סתם מוותר ומקבל ביצועים תת-אופטימליים.
איך זה עובד?
במערכות מסורתיות, תיקון בודד של סוכן AI יכול לקחת עד 15 דקות רק כדי לאמת אותו באינפרנס אינג'ין. זה צוואר בקבוק מטורף — כי צריך אלפי ניסויים. Together Compiler לוקח גישה שונה לחלוטין: עיצוב שממקסם את מהירות האיטרציה של הסוכנים ומריץ פי 252 ניסויים ממערכות קיימות שמשתמשות בסוכנים לאופטימיזציית אינפרנס.
התוצאה: מודלים עוברים אופטימיזציה תוך 24 שעות, עם אופטימיזציות שעוברות ישר לפרודקשן. Together Compiler כבר משרת טריליוני טוקנים ביום.
המספרים בבדיקות
המערכת נבדקה על מגוון מודלים פופולריים של קוד פתוח, והתוצאות מרשימות:
- Kimi K3: peak throughput גבוה פי 1.5 מהתוצאה הטובה ביותר ב-InferenceX של SemiAnalysis
- GLM 5.3: peak throughput גבוה פי 1.4 מהתוצאה הטובה ביותר באותו בנצ'מרק
- Llama 1B: יותר מ-2,100 tokens per second, פי 1.7 מקוד שנכתב ידנית
- MiniMax M3.1 Flash: 1,111 tokens per second על B200 — פי 1.8 מהבייסליין
- DeepSeek v4.1 Flash: 1,205 tokens per second על GB300 — פי 1.3 מהבייסליין
מה הנתונים אומרים בפועל? אם אתם מריצים Llama 1B, הקוד שה-AI כתב יחזיר לכם תשובה מהר כמעט פי שניים מהקוד הכי טוב שמישהו בצוות שלכם (או ב-Together AI) כתב ידנית. על מודלים גדולים יותר ההפרש קטן, אבל עדיין משמעותי.
מהשטח: עדות מלקוח
Moin Nadeem, מייסד-שותף ב-Phonic, מספר: "Together Compiler קיצר לנו את זמן ה-medians עד לדיבור ראשון בכמעט 50%, וזה קרה בין לילה. העובדה ש-Phonic-1 עבר אופטימיזציה כל כך מהר אפשרה לנו לשחרר מוקדם יותר. אנחנו לקוחות של Together AI כבר מעל לשנתיים ומעוניינים להמשיך לבנות איתם כשהם מוצאים דרכים חדשות לדחוף ביצועים."
האסטרטגיה הגדולה: Polymorphic Inference
Together Compiler הוא רק הפרויקט הראשון במסגרת יוזמה רחבה יותר ש-Together AI קוראת לה Polymorphic Inference — סוג של שיפור עצמי רקורסיבי לזרימות עבודה של אינפרנס.
Dan Fu, מייסד-שותף ו-SVP מחקר ב-Together AI, מסביר: "רוב האינפרנס היום משתמש בשבריר ממה שה-GPU באמת יכול לעשות, והפער הזה נפתח מחדש כל פעם שיוצא מודל או צ'יפ חדש. לסגור את הפער אחת ולתמיד דורש אינפרנס שמסתגל באותה מהירות ועומד בקצב לאורך זמן."
Simran Arora, SVP למחקר במערכות AI ב-Together AI, מוסיפה: "כשמציגים לסוכני AI מטרה מוגדרת היטב, הם יעילים בהשגת יעדים במתמטיקה, הנדסה ומדע. האתגר המרכזי שלנו הוא שצורת התעבורה, כלומר המטרה שאנחנו מנסים לייעל, כל הזמן מתפתחת."
החזון: במקום שאנשים יכוונו את האינפרנס מחדש כל שבוע, המערכת עצמה תלמד, תתנסה ותייעל — באופן רקורסיבי, בלי התערבות אנושית.
זמינות
Together Compiler רץ כבר על רבים מה-endpoints ה-serverless הפופולריים של Together AI. לקוחות יכולים להצטרף לתוכנית בטא מוגבלת לשימוש על ה-deployments הייעודיים שלהם, עם גישה בשירות עצמי שתגיע בקרוב. מי שמעוניין יכול לקרוא את מאמר המחקר ב-together.ai/together-compiler-paper.
בסוף, הפואנטה פשוטה: בעולם שבו מודלים חדשים יוצאים כל שבועיים ודפוסי התעבורה משתנים כל הזמן, מי שיצליח לבנות מערכת שגם משפרת את עצמה בלי מגע אנושי — ינצח. Together AI טוענת שהיא עשתה צעד ראשון בכיוון. נראה.