McKinsey: מחירי ה-AI צונחים — אבל החשבונות רק עולים

הפרדוקס שהכי פחות מדברים עליו

כולם יודעים שמודלי AI נעשים זולים משמעותית — אבל למה, לעזאזל, החשבונות ממשיכים לטפס? זה בדיוק מה ש-McKinsey מנסה להאיר בדוח חדש, ואנחנו הולכים לדבר על זה כי הבעיה הזו נוגעת לכל מי שמנהל צוות פיתוח או תקציבי IT.

הנה הנתון ש-CTOs צריכים לזכור: GPT-4 הושק בתחילת 2023 במחיר של 60 דולר למיליון output tokens. היום מודלים עם ביצועים דומים עולים חלקיק מזה — לפעמים פי מאות פחות. המחיר צנח מעשרות דולרים למיליון tokens למחיר שבריר דולר. במקביל, חברות מדווחות שההוצאות על AI רק גדלות.

אז מה בעצם קורה פה?

סוכנים שותקים — וזוללים

התשובה, לפי McKinsey, טמונה במעבר ממודלים "רגילים" ל-agentic AI. צ'אטבוט עונה על שאלה אחת. סוכן AI מתכנן, קורא לכלי עזר, בודק את עצמו, מנסה שוב, מעביר הלאה — ומייצר tokens בכל שלב. התוצאה: צריכת tokens לכל משימה יכולה לזנק פי 10 עד פי 100 לעומת הרצת inference פשוטה.

לארי המליינן (Lari Hämäläinen), שותף בכיר ב-McKinsey, הגדיר את זה כך: "תארו לעצמכם שאתם מנהלים operation — ובכל יום יש הפרש של פי 30 בעלויות בין ריצה אחת לשנייה לאותה משימה." וזה לא תיאור תיאורטי. בפיתוח תוכנה, סוכנים יכולים לכתוב, לבדוק ולשכתב מאגרי קוד שלמים — הרבה מעבר למה שמפתח אנושי היה נוגע בו. זה כמובן רעבתני במיוחד ל-tokens.

כמה כסף אנחנו מדברים?

בסקר State of AI ב-2026, McKinsey מצאו ששליש מהארגונים מוציאים יותר מ-10% מתקציבי הטכנולוגיה שלהם על AI. 60% מתכננים להגדיל את ההוצאות בשנה הבאה. וכחמישית מדווחים שהוצאות ה-AI מתחילות לייצר לחץ אמיתי על תקציבי התפעול.

טנגוי קטלין (Tanguy Catlin), שותף בכיר ומנהל McKinsey Global Institute, סיכם את זה בפשטות: "ההוצאות הופכות לסעיף משמעותי וגלוי."

זה לא נשאר ברמת הדוחות. Amazon סגרה לוח דירוגים פנימי שעקב אחרי שימוש ב-AI בקרב עובדים — אחרי שחלקם ביצעו משימות רק כדי לטפס בדירוג. Coinbase ו-Salesforce התחילו להטיל מגבלות על שימוש ב-AI ככל שהחשבונות עלו. יש ארגון אחד שדיווח שתקציב של מיליון דולר אמור היה להספיק לשנה — ונגמר בתוך שלושה חודשים.

למה העלויות כל כך לא צפויות?

בניגוד לתוכנה מסורתית, שבה עלות הרצה של משימה יחסית צפויה — אצל סוכנים אין שני נתיבים זהים לאותה תוצאה. אפשר להשתמש בסוכן יחיד או בכמה סוכנים במקביל, אפשר לבחור מודלים שונים לשלבים שונים, אפשר לאפשר לסוכן "לחשוב" יותר או פחות. כל ההחלטות האלה משנות את העלות דרמטית.

המליינן מציע לשנות את דרך החשיבה: במקום למדוד עלות לכל token, יש למדוד ברמת המשימה — כמה עולה להריץ אותה, מה אחוז ההצלחה, וכמה זמן אנושי נדרש לוודא את התוצאה. הוא נותן כלל אצבע מעניין: אם לאדם לוקח שעה לבצע משימה, אבל אפשר לוודא את תוצאת הסוכן בשש דקות — סוכן עם שיעור הצלחה של יותר מ-10% כבר מתחיל לייצר ערך.

שלושה מנועי חיסכון

קטלין מונה שלושה תחומים שבהם חברות יכולות לשלוט בהוצאות:

• נראות: לדעת בדיוק אילו מקרי שימוש, יחידות עסקיות, סוכנים ומודלים מניעים את ההוצאות. בלי זה — אי אפשר לנהל.
• אופטימיזציה של תהליכים: להתאים את מורכבות המודל למשימה, לנתב בקשות למודלים מתאימים, לשמור context לשימוש חוזר, ולהגביל קריאות מיותרות.
• משמעת רכש: לבטל רישיונות לא בשימוש, לנהל מכסות, לנהל משא ומתן עם ספקים, ולהימנע מתלות מוגזמת במודל יחיד או בספק יחיד.

אבל קטלין מזהיר: המטרה היא לא קיצוץ עלויות עיוור. צריך לזהות איפה הוצאות ה-AI מניבות את התשואה הגבוהה ביותר — ולנתב לשם.

מה זה אומר עלינו?

אם אתם מנהלים צוותי פיתוח שכבר עובדים עם סוכנים — או שוקלים להתחיל — הדוח הזה הוא תמרור. לא תמרור עצור, אבל כזה שמבקש להאט. במיוחד בפיתוח תוכנה, שבו הצריכה היא הגבוהה ביותר, כדאי להתחיל למדוד עלויות ברמת המשימה ולא רק ברמת ה-API. מי שישקיע עכשיו בהנדסת מערכות חסכוניות — ירוויח כשההוצאות ימשיכו לטפס.

המליינן סיכם את זה הכי נכון: "הרבה מזה אנחנו רק עכשיו לומדים. ב-12 החודשים הקרובים, זה יהפוך לרלוונטי מאוד." מי שמתחיל עכשיו למדוד — מוכן.