SiMa.ai מריצה כמה מודלי AI על שבב אחד — עד פי 3.5 מהר יותר
SiMa.ai משחררת עדכון תוכנה לשבבי Modalix שמאפשר הרצת מספר מודלי AI בו-זמנית על שבב בודד, עם שיפור של עד פי 3.5 ב-throughput. החברה, שגייסה 500 מיליון דולר בסך הכול, מכוונת למפתחי רובוטיקה ורחפנים — והעדכון רץ על חומרה קיימת בלי צורך ברכישות חדשות.
אז מה בעצם קרה פה?
SiMa.ai, סטארטאפ שמתמחה ב-AI פיזי — רובוטים, רחפנים, מצלמות תעשייתיות — משחררת עדכון משמעותי לתוכנת ה-Palette שלה. גרסה 3.0 מאפשרת להריץ מספר מודלי AI בו-זמנית על שבב Modalix בודד, עם שיפור של עד פי 3.5 ב-throughput. בפועל, זה אומר שרחפן יכול לעבד תמונות, לזהות אובייקטים ולהריץ מודל שפה גדול — הכול על אותו שבב, בלי צורך בכוח מחשוב ענן.
מה חדש בפלטפורמה?
השינוי המרכזי הוא השיפור באופן שבו יישומים חולקים את השבב. בגרסאות קודמות, הגישה למאיץ הייתה עוברת דרך שירות ביניים. עכשיו היישומים שולחים בקשות ישירות לדרייברים ב-kernel, וכל מנוע חומרה מטפל בבקשה אחת בכל פעם — אבל מנועים שונים יכולים לעבוד במקביל. מפתחים יכולים גם להקצות עדיפויות לבקשות שונות.
דוגמה מהשטח: מצלמה שרצה זיהוי אובייקטים רציף על וידאו, ובמקביל מודל שפה מוסיף הקשר על הסצנה מדי פעם. אפשר לתת לזיהוי אובייקטים עדיפות גבוהה, ולאפשר למודל השפה להשתמש במאיץ כשהוא מתפנה.
בנוסף, הפלטפורמה מריצה עכשיו מכולות Docker נפרדות על אותו שבב. בהדגמה שהחברה הציגה, שבב Modalix אחד הפעיל במקביל מודל שפה גדול לצד שלושה מודלי vision-language, ובמקרה אחר — שש מכולות Docker שחולקות משאבים למשימות כמו זיהוי אובייקטים ורינדור תלת־ממד.
איך מגיעים לפי 3.5?
השיפור הגדול בקצב יצירת טקסט מגיע מטכניקת speculative decoding. הרעיון פשוט: במקום לחשב טוקן אחד בכל פעם, הפלטפורמה מנבאת כמה טוקנים קדימה, ומודל היעד בודק אותם בבת אחת. הטכניקות כוללות EAGLE3, DFlash ו-multi-token prediction ל-Gemma 4.
התוצאות: שיפור throughput שנע מפי 2.21 עד פי 3.49 ביחס ליצירה קונבנציונלית על אותם מודלים. במקרה בולט במיוחד, שימוש ב-DFlash N16 עם Qwen3.5 9B הגיע לקצה העליון של הטווח. בנפרד, במבחן של 900 בקשות לאסיסטנט רכב, השיפור בזמן תגובה היה צנוע יותר — פי 1.35 עד 2.06 — אבל כל הבקשות החזירו את הקריאות המובנות המצופות.
עוד נתון מעניין: צריכת האנרגיה לכל בקשת חישוב ירדה ב-25.9% עד 51.4%, כשהשבב צורך פחות או יותר אותו הספק ממוצע. החיסכון מגיע מסיום העבודה מוקדם יותר — לא מהורדת clock.
תמיכה במודלים גדולים ו-gen AI
Palette 3.0 מוסיף תמיכה ב-GPT-OSS-20B של OpenAI על מודול ה-16GB של Modalix. זה ציון דרך שימושי, אבל לקוחות עדיין יצטרכו לבדוק זמני תגובה, מגבלות context ודיוק בתצורה שלהם.
בתחום ה-gen AI, הפלטפורמה כוללת כלים בקוד פתוח לפיתוח יישומים. הקוד זמין ב-GitHub עם רישיון Apache 2.0 לספריית הליבה Palette Neat. תנאי הרישיון ל-compiler ול-firmware עדיין לא אושרו רשמית.
Model Browser חדש
אחת התוספות השימושיות למפתחים היא ה-Model Browser המשודרג. הוא מציג לא רק throughput ו-latency, אלא גם נתונים כמו צריכת הספק של השבב, שימוש בזיכרון ואופן הביצוע של שכבות בודדות במודל. אפשר לראות איך שינוי בדיוק מספרי משפיע על מהירות ודיוק — מידע קריטי כשמחליטים איזו תצורה לנסות אחרי fine-tuning.
כפתור ההורדה מספק artifact מוכן להרצה מקומית על Modalix. מי שרוצה לבנות מחדש יכול להשתמש ב-scripts מתוך מאגר ציבורי שמתחילים במודל המקורי מ-GitHub, Hugging Face או Roboflow.
קצת מספרים על החברה
SiMa.ai נוסדה ב-2018 על ידי המנכ"ל Krishna Rangasayee, עם פוקוס על שילוב ייעודי של חומרה ותוכנה עבור AI במכשירים פיזיים. בין הלקוחות והשותפים: Bosch, Emerson ו-Synopsys.
בספטמבר גייסה החברה 150 מיליון דולר בסבב C לפי שווי של 1.45 מיליארד דולר, בהובלת Fidelity Management ו-Amplify Partners. בסך הכול גייסה החברה 500 מיליון דולר.
ערכת הפיתוח DevKit 3.0, הכוללת מודול Modalix, לוח נשא, מארז, ספק כוח ו-500GB אחסון, עולה 1,499 דולר בארה"ב ובאירופה.
מי ירוויח מזה?
מפתחים שמחפשים להריץ AI על המכשיר — בין אם זה רובוט במחסן, רחפן בשטח או מצלמה בקו ייצור — מקבלים פלטפורמה שנותנת להם להריץ יותר מודלים על פחות חומרה. זה משמעותי במיוחד למי שכבר עובד עם המודולים של Modalix, כי העדכון הוא תוכנה בלבד — לא צריך לקנות חומרה חדשה.
אפרופו רחפנים: החברה הדגימה זיהוי אובייקטים YOLOv26 על 60 סטרימים של 720p במקביל על שבב Modalix אחד, בקצב כולל של 600 פריימים לשנייה — ממוצע של 10 פריימים לשנייה לערוץ.
מי צריך לשים לב?
כל מי שבונה מוצר פיזי עם AI מוטמע. אם אתם מפתחים בתחום הרובוטיקה, הרכב האוטונומי או ה-IoT התעשייתי, ומחפשים חלופה להתאמת טכנולוגיות data center ל-edge — שווה לבחון את הפלטפורמה. היכולת להריץ מספר מודלים על שבב בודד עם ניהול סדרי עדיפויות יכולה לייעל משמעותית את הארכיטקטורה שלכם.
בסופו של דבר, SiMa.ai מציעה פתרון למי שרוצה שה-AI ירוץ על המכשיר עצמו, לא בענן — ועכשיו, עם הרבה יותר כוח מחשוב באותו שבב.