PrismML משיקה מודל AI זעיר שמתאים למחשבים אישיים
PrismML שחררה את Bonsai 2 27B, מודל AI דחוס שמתאים למחשבים אישיים ולסמארטפונים, תוך שמירה על 98% מהיכולות של המודל המקורי, Qwen3.8 27B. החברה גייסה 22.25 מיליון דולר ומצפה ליישם את הטכנולוגיה על מודלים גדולים יותר, מה שעשוי להפוך הרצת AI מקומי לסטנדרט בתעשייה.
איך אפשר להריץ מודל AI מתקדם על טלפון חכם, בלי לשלוח את הנתונים לענן? PrismML טוענת שהיא מצאה את הדרך. ביום חמישי, החברה שחררה את Bonsai 2 27B, מודל בינה מלאכותית קטן וחזק שמבוסס על המודל הפופולרי Qwen3.8 27B של Alibaba, אבל בגודל של 5.9 ג'יגה־בייט בלבד – קטן פי 10 בערך מהמקור. זה אומר שהוא יכול לרוץ על מחשבים אישיים ואפילו על סמארטפונים מתקדמים.
החידוש המרכזי הוא טכנולוגיית הדחיסה ש-PrismML פיתחה, שנקראת "ternary weights" (משקלים טרנריים). במקום להשתמש במשקלים של 16 ביטים, מצמצמים אותם ל-3 ביטים, עם ערכים של +1, 0 או -1. התוצאה? כמעט אותם ביצועים – 98% מציון הביצועים הכולל של המודל המקורי, על פי החברה. זה שיפור משמעותי לעומת הדור הקודם של Bonsai, שהשיג 95%.
אז מה זה אומר בפועל? Bonsai 2 27B יכול להגיע ל-143 טוקנים לשנייה על כרטיס NVIDIA GeForce GTX 5090, ו-46.8 טוקנים לשנייה על שבב Apple M5 Max. בבדיקות ביצועים כמו HumanEval+ לקוד ו-MMLU-Redux לידע, הוא קרוב ל-Qwen3.8 המקורי, עם פערים קטנים. זה מאפשר הרצת משימות כמו תרגום, סיכום וחיפוש ישירות על המכשיר שלכם – זמן תגובה מיידי, פרטיות מלאה וחיסכון בעלויות ענן.
PrismML, שהוקמה על ידי חוקרים מ-Caltech ומובלת על ידי המנכ"ל Babak Hassibi, גייסה 22.25 מיליון דולר בסבב סיד. Hassibi הוא מומחה בטכנולוגיות דחיסה. בין המשקיעים: Khosla Ventures ו-Caltech עצמה. היועץ שלה הוא Ion Stoica, מייסד-שותף של Databricks. לדברי Hassibi, הם כבר הוכיחו את עצמם: הדור הקודם של Bonsai הורד יותר מ-11 מיליון פעמים, ומודלים קטנים יותר שלהם זכו לעוד 2.6 מיליון הורדות.
אבל הסיפור לא נגמר כאן. PrismML מתכננת ליישם את טכנולוגיית הדחיסה על מודלים גדולים הרבה יותר, בסדר גודל של מאות מיליארדי פרמטרים, בחודשים הקרובים. "ככל שהמודל גדול יותר, קל יותר לשמור על האינטליגנציה בדחיסה", אומר Hassibi. אם זה יעבוד, נוכל לראות מודלים מתקדמים שרצים על כל מחשב ביתי.
Stoica מוסיף שהתוצאה תהיה "אינטליגנציה בקצות האצבעות, בחינם, כי היא רצה על המכשיר שכבר קניתם". במחיר נמוך – 0.714 מגה־ואט־שעה לטוקן, לפי הנתונים – זה מודל שזול וירוק יותר מרוב המודלים האחרים בגודל 8B. בעולם שבו הפרטיות והמהירות חשובות יותר מתמיד, Bonsai 2 27B מציע תקווה ממשית להרצת AI מקומי. בסופו של דבר, אם תוכלו להריץ מודל AI חזק על הטלפון שלכם, מי צריך ענן יקר? אפשר אולי סוף סוף לשכוח מתלות בצדדים שלישיים.