McKinsey: השימוש באג'נטים עלול להקפיץ עלויות פי 30
McKinsey מזהירה שהוצאות ה-AI של חברות יזנקו עם השימוש באג'נטים אוטונומיים, למרות שמחירי המודלים יורדים. לפי סקר החברה, שליש מהארגונים מוציאים מעל 10% מתקציב הטכנולוגיה על AI, ו-60% מתכננים להגדיל את ההוצאה בשנה הבאה – אך אחד מכל חמישה מדווח על אילוצים תקציביים.
למרות שמחירי מודלי ה-AI צונחים, חברות מגלות שהחשבונות דווקא מתנפחים – במיוחד כשמכניסים לתמונה מערכות אג'נטיות. על פי אזהרה חדשה מ-McKinsey, שימוש גובר בסוכנים אוטונומיים שמבצעים משימות מורכבות עלול להביא לזינוק משמעותי בעלויות, עם פערים של עד פי 30 בעלות של אותה משימה.
אז מה בעצם קרה כאן? בעולם ה-AI, מודלים כמו GPT-4, שמחירם עמד בעבר על 60 דולר למיליון טוקנים של פלט, זמינים כעת תמורת שבריר מהמחיר – לפעמים מאות פעמים זולים יותר. אבל חברות דורשות מהם לעשות הרבה יותר עבודה. במקום רק לענות על שאלות, הן מטילות על ה-AI לבצע תהליכים אוטונומיים מלאים – למשל, לכתוב, לבדוק ולשכתב קוד שלם בפיתוח תוכנה. התהליכים הללו, הנקראים אג'נטים, צורכים כמויות עצומות של טוקנים ועשויים להגיע לאותה תוצאה בדרכים שונות, מה שהופך את העלות לבלתי צפויה.
לארי המליינן, שותף בכיר ב-McKinsey, ציין בפגישה וירטואלית: "תארו לעצמכם שאתם מפעילים מבצע, אבל כל יום יש הבדל של פי 30 בעלויות. הרבה מזה אנחנו לומדים רק עכשיו, וב-12 החודשים הבאים זה יהפוך למאוד רלוונטי."
הנתונים מהסקר של McKinsey לשנת 2026 מראים ששליש מהארגונים מוציאים יותר מ-10% מתקציבי הטכנולוגיה והתקשורת שלהם על AI. בנוסף, 60% מהמשתתפים מתכננים להגדיל את ההוצאה על AI בשנה הבאה, ואחד מכל חמישה מדווח שההוצאה הזו מתחילה ליצור אילוצים תקציביים. טנגוי קטלין, שותף בכיר ומנהל במכון הגלובלי של McKinsey, אמר: "אז ההוצאה הופכת עכשיו למשמעותית ונראית לעין."
הבעיה חריפה במיוחד עבור צוותי פיתוח תוכנה שמשתמשים באג'נטים לאוטומציה של קידוד, תחום ש-McKinsey תיארה כ"רעב מאוד לטוקנים." דוגמאות מהשטח מראות שחברות כמו Amazon, Coinbase ו-Salesforce כבר מתחילות להגביל שימוש ב-AI כאשר החשבונות עולים. לדוגמה, Amazon סגרה לוח תוצאות פנימי שעקב אחרי שימוש בטוקנים, לאחר שעובדים ביצעו משימות רק כדי לטפס בדירוגים.
McKinsey מדגישה שאג'נטים יכולים לקצר את הזמן שאנשי צוות מקדישים למשימות ב-35% עד 40%, ולעיתים עד 70% או יותר. אבל חברות צריכות למדוד אם הסוכנים האלה מייצרים מספיק ערך כדי להצדיק את העלות. "במקום למדוד אג'נטים לפי עלות לטוקן, מומלץ להעריך אותם ברמת המשימה: כמה עולה לבצע אותה, כמה פעמים הסוכן מצליח, וכמה זמן אנושי נדרש לאמת את העבודה," הסביר המליינן. כלל אצבע: אם משימה לוקחת לאדם שעה, אך ניתן לאמת את תוצאת האג'נט ב-6 דקות, סוכן עם שיעור הצלחה מעל 10% יכול כבר לייצר ערך.
קטלין זיהה שלושה תחומים שבהם חברות יכולות לנהל הוצאות AI: ראשית, שיפור נראות – לדעת אילו מקרי שימוש, יחידות עסקיות או משתמשים מניעים את ההוצאה. שנית, ייעול תהליכים – למשל, התאמת מורכבות המודל למשימה, ניתוב בקשות למודלים מתאימים, שמירת הקשר לשימוש חוזר והגבלת קריאות כלים מיותרות. שלישית, משמעת בתחום הרכש – כולל ביטול רישיונות שאינם בשימוש, ניהול מכסות, משא ומתן עם ספקים והימנעות מתלות מופרזת במודל או בספק יחיד.
אבל קטלין הזהיר שהמטרה לא צריכה להיות קיצוץ עלויות עיוור. חברות צריכות לקבוע היכן ההוצאה על AI מניבה את התשואה הגבוהה ביותר ולנתב אותה לשם. "האמת היא שאין מנוף עלות יחיד," אמר.
לאנשי טק, זה אומר שצריך לחשוב מחדש על מדדי הצלחה: לא רק לפי מחירי המודלים, אלא גם לפי העלות הכוללת למשימה והאוטומציה בפועל. בעולם שבו ה-AI הופך נגיש יותר, העלויות דווקא עשויות לגדול – ואם אתם לא עוקבים, החשבון יפתיע אתכם.