פרויקט AI באמזון חרג ב-860% ועלה 1.8 מיליון דולר
אמזון חוותה חריגות תקציב קיצוניות של מיליוני דולרים כתוצאה משימוש לא מבוקר במודלי AI. פרויקט אחד חרג ב-860% והוציא 1.8 מיליון דולר, והחריגה נחשפה רק אחרי חמישה חודשים. כעת החברה מפתחת מנגנוני הגנה אוטומטיים, על רקע טרנד ה-Tokenmaxxing שעודד ניפוח של צריכת משאבי AI.
דמיינו פרויקט AI שאמור לעלות בסביבות 200 אלף דולר, אבל מוציא 1.8 מיליון – בלי שהמשימה בכלל הושלמה. זה בדיוק מה שקרה באמזון, ולפי הדיווחים, זו רק דוגמה אחת מיני רבות לחריגות תקציב קטסטרופליות שנגרמו כתוצאה משימוש לא מבוקר במודלים.
אז מה בעצם קרה?
בישיבת צוות פנימית באמזון, מהנדסים בכירים חשפו כי ניסיונות להעביר משימות תכנות למודלים הובילו להוצאות "לא מתוכננות". במקרה הבולט ביותר, החברה הוציאה 1.8 מיליון דולר בניסיון להשתמש ב-Anthropic Claude כדי להתאים פרטי סופרים לרשומות באתר – משימה שהוגדרה ככישלון. החריגה עמדה על 860% לעומת התקציב המתוכנן, והיא התגלתה רק חמישה חודשים לאחר תחילת הפרויקט.
והם לא לבד. פרויקט נוסף לבניית כלי ביקורת פיננסי גרר הוצאה לא מתוכננת של 541 אלף דולר. במקרה השלישי, שבו נעשה שימוש ב-AI כדי לשפר את מהירות המשלוחים במערך הלוגיסטי, נרשמו הוצאות חריגות של 134 אלף דולר – שהתגלו רק שבועיים אחרי תחילת העבודה.
הרקע: טרנד ה-Tokenmaxxing
בשנתיים האחרונות, חברות רבות, ובראשן ענקיות הטק, עודדו עובדים להשתמש כמה שיותר במודלים – לכתיבת קוד, לסיכום פגישות וליצירת מצגות. חלקן אף מדדו עובדים לפי צריכת ה-Tokens שלהם. הדבר הוביל לטרנד שכונה "Tokenmaxxing", שבו עובדים ניפחו את השימוש כדי לצבור נקודות בדירוגים פנימיים.
אבל לאחרונה, החשבון הגיע. העלויות של הפעלת המודלים, במיוחד כשעושים בהם שימוש חסר אבחנה במשימות פשוטות, מתחילות להראות את הצד הפחות זוהר. מהנדסים באמזון הסבירו שטעויות קידוד זולות וטריוויאליות במערכות מסורתיות הופכות ל"יקרות באופן קטסטרופלי" כשמערבים AI.
תגובות וצעדים עתידיים
לדברי בכיר באמזון, "קשה להבין כמה עולה כל דבר שקשור ל-AI". כעת, החברה מפתחת מנגנוני הגנה אוטומטיים שנועדו למנוע חריגות תקציב בפרויקטים עתידיים.
ראוי לציין שמדובר בסכומים זניחים ביחס להיקף הפעילות של אמזון, שרשמה ברבעון השני הכנסות של 200.61 מיליארד דולר. אך המקרים האלה ממחישים אתגר רחב יותר: ארגונים רבים מתמודדים עם עלויות גבוהות ובלתי צפויות כשמשלבים AI. זו לא הפעם הראשונה שאמזון נכוותה ממגמות כאלה – מאז מאי היא כבר סגרה לוח מובילים פנימי שדירג עובדים לפי שימוש ב-AI, לאחר שהעובדים ניפחו את הצריכה כדי לטפס לראש הדירוג.
בסופו של דבר, בעוד חברות רצות קדימה עם AI, הן מגלות שמנגנוני בקרה ותקציב הם לא מותרות – הם הכרח.