המודלים הפתוחים צורכים יותר: המחיר הנסתר של בינה מלאכותית קוד פתוח
מחקר מגלה שמודלי AI בקוד פתוח משתמשים ב-1.5-4x יותר טוקנים ממודלים סגורים (עד 10x במשימות פשוטות) – מה שהופך אותם ליקרים יותר להשמה למרות מחירי טוקן נמוכים. OpenAI מובילה ביעילות החישובית, בעוד Nvidia היא הספקית הפתוחה היעילה ביותר. לארגונים מומלץ לבחון עלות כוללת ולא רק מחיר טוקן.
מחקר חדש חושף: מודלי קוד פתוח פחות יעילים מבחינת עומס חישובי
מחקר עדכני מ- Nous Research מערער על ההנחה הרווחת שמודלי AI בקוד פתוח הם תמיד חסכוניים יותר. הנתונים מראים כי מודלים אלה משתמשים ב-1.5 עד 4 פעמים יותר טוקנים (יחידות חישוב בסיסיות) ממודלים סגורים כמו אלה של OpenAI או Anthropic.
הפערים המרכזיים בממצאים:
- במשימות פשוטות: פערי היעילות מתרחבים עד פי 10! לדוגמה, בשאלות ידע בסיסיות ("מה בירת אוסטרליה?") מודלי "שרשרת חשיבה" (LRMs) מבזבזים מאות טוקנים על תשובה שאמורה לדרוש מילה בודדת.
- בתחומי מתמטיקה ולוגיקה: מודלים סגורים של OpenAI בולטים ביעילותם, עם שימוש עד פי 3 פחות טוקנים מחלופות קוד פתוח.
- הכלכלה האמיתית: למרות עלות טוקן נמוכה יותר במודלים פתוחים, יתרון זה "מתאפס במהירות כשהמערכת צריכה לעבד אלפי טוקנים נוספים".
השלכות על ארגונים
לחברות שמעריכות מודלי AI, המחקר מציע:
- שיקול תמחור כולל: לא להסתכל רק על מחיר הטוקן הבודד, אלא על כמות הטוקנים הנצרכת בפועל
- דגשים טכנולוגיים: ספקים סגורים (כמו OpenAI) משקיעים באופטימיזציה ליעילות טוקן - בעוד מודלים פתוחים מתמקדים בשיפור ביצועי החשיבה
- מודל מוביל: בין המודלים הפתוחים, llama-3.3-nemotron של Nvidia זוהה כיעיל ביותר
"בעולם בו כל טוקן משנה, המודלים הבזבזניים עלולים למצוא את עצמם מחוץ לשוק - בלי קשר לאיכות החשיבה שלהם"
כיווני עתיד
צוות המחקר מסמן יעילות טוקן כיעד פיתוח קריטי, ומציינים כי המודלים החדשים בקוד פתוח של gpt-oss מ-OpenAI עשויים לשמש אבן בוחן לשיפור היעילות. קוד המחקר זמין ב-Github לבדיקה עצמאית.