תאגידים מוציאים מיליארדים על AI — והתשואה כמעט לא קיימת

בואו נדבר תכל'ס: מישהו בארה"ב הוציא חצי מיליארד דולר על AI בחודש אחד. לא רבעון — חודש. יועץ שסיפר על זה ציין שהחברה פשוט חילקה לעובדים רישיונות AI, בלי מגבלות שימוש, ונתנה למונה לרוץ עד שמחלקת הכספים שמה לב. הסיפור הזה מדהים, אבל הוא לא החלק המפחיד באמת. הוא רק החלק הנראה לעין של כישלון שקט הרבה יותר גדול.

המספרים שכואב לשמוע

נתחיל מהתמונה הגדולה: הוצאות ה-AI העולמיות צפויות להגיע ל-2.52 טריליון דולר ב-2026 — יותר מכל קטגוריית טכנולוגיה בעשורים האחרונים. אלו מספרים שגורמים אפילו להשקעות בעידן הדוט-קום להיראות צנועות.

ועכשיו השאלה המתבקשת: מה יוצאים מזה?

מחקר שפורסם לאחרונה מצא ש-59% מהארגונים מוציאים מיליון דולר או יותר בשנה על AI. רק 29% מהם מדווחים על תשואה משמעותית. בסקר נפרד, רק 12% ממנכ"לים אמרו שהם רואים גם עלייה בהכנסות וגם קיצוץ בעלויות כתוצאה משימוש ב-AI. אחד-עשר אחוז.

אבל זה לא הכל. סקר נרחב מצא שכ-95% מפיילוטים של AI גנרטיבי בתאגידים לא ייצרו שום השפעה מדידה על שורת הרווח. רק כ-5% מהם הצליחו ללכוד את מרבית הערך. אותו מחקר גם גילה שפתרונות קנויים הגיעו לייצור ב-67% מהמקרים, בעוד שבניות פנימיות הצליחו רק בשליש מהזמן.

מחקר אחר הראה ששיעור החברות שזונחות את רוב יוזמות ה-AI שלהן קפץ מ-17% ל-42% בשנה אחת, כאשר הארגון הממוצע זורק לפח 46% משלבי ההוכחת היתכנות לפני שהם מגיעים לייצור. חברת המחקר צופה שיותר מ-40% מפרויקטי ה-AI האג'נטי יבוטלו עד סוף 2027, בשל עלויות מטפסות, ערך עסקי לא ברור ובקרות סיכון לא מספקות.

ותחשבו על זה: הוצאות AI עולמיות — 2.52 טריליון דולר. תשואה מדידה — אפסית ברוב המקרים. אם זה היה סטארטאפ, לא היו נותנים לו סבב שני.

מה בעצם לא עובד כאן?

הטעות הראשונה של מנהלים היא לחשוב שהבעיה טכנולוגית. שהמודל לא מספיק חכם, שצריך את ה-GPT הבא או את ה-Claude הבא. אבל הנתונים מראים משהו אחר לגמרי.

מחקרים מצביעים על כך שהגורמים שמבדילים בין חברות שמצליחות להרוויח מ-AI לבין כאלה שלא, הם לא טכנולוגיים — הם ארגוניים. אלה שבאמת רואים תשואה הם לא אלה שמריצים מודל טוב יותר. הם אלה שבחרו בעיה אחת, הוציאו לפועל, ועבדו ביחד כמו שצריך.

קחו לדוגמה את ה-Workflow Redesign: סקר של McKinsey בדק 25 מאפיינים ארגוניים ומצא שעיצוב מחדש של תהליכי עבודה היה הגורם בעל ההשפעה הגדולה ביותר על השאלה אם חברות רואות רווח מ-AI גנרטיבי. הכלי עצמו — המודל — שינה פחות מהמבנה סביבו.

הבעיה, לדברי מומחים, היא ש-Models יודעים שפה. הם לא יודעים את שולי הרווח שלכם, את הלקוחות שלכם, או את התוצאה העסקית שאתם צריכים. מה שחסר זו שכבת יישום — Application Layer — שמספקת למודל הקשר עסקי: נתונים, מגבלות, כללים. בלעדיה, ה-AI הוא כלי בלי הגדרת תפקיד ברורה.

"הטעות הגדולה ביותר ב-AI ארגוני היא שמודל חזק יותר מייצר אוטומטית תוצאות עסקיות טובות יותר", הסביר יזם בתחום. "במציאות, גם ה-AI המתקדם ביותר מתקשה כשהוא לא מבין את ההקשר של העסק שלכם. הארגונים שרואים ROI מדיד הם לא אלה שמאמצים מודלים טובים יותר — הם אלה שנותנים ל-AI את המבנה, היחסים והידע העסקי שהוא צריך כדי לקבל החלטות עקביות ואמינות."

זה נשמע פשוט? כי זה באמת פשוט. אבל כמעט אף אחד לא עושה את זה.

מחירי הטוקנים ירדו — וההוצאות קפצו

ועכשיו בואו נדבר על מה שכולם בתעשייה מתעסקים בו לאחרונה: טוקנים.

טוקן AI הוא יחידת הנתונים הבסיסית שמודל מעבד, והיא קובעת כמה לקוחות עסקיים צריכים לשלם. חברות כמו Anthropic ו-OpenAI ממירות טקסט לטוקנים וגובות למיליון טוקנים. המחיר של Anthropic לדגם המוביל שלה עומד על 10 דולר למיליון טוקני קלט ו-50 דולר למיליון טוקני פלט.

החדשות הטובות: מחירי הטוקנים ירדו בכ-80% בין אמצע 2023 לתחילת 2026.

החדשות הרעות: ההוצאות על AI ארגוני עלו ב-320% באותה תקופה.

איך זה מסתדר? פשוט מאוד: חברות מפעילות הרבה יותר Agents, משתמשים ביותר workflows, וצורכים הרבה יותר טוקנים. מחיר נמוך יותר לטוקן פוגש צריכה גבוהה פי כמה, והסכום הכולל מזנק. מומחים צופים שצריכת הטוקנים הכוללת תכפיל את עצמה פי 24 עד 2030.

Analysts טבעו לאחרונה את המונח "Token Shock" כדי לתאר את מה שקורה לחברות שמגלות את חשבון הטוקנים שלהן. מנהל הכספים של JPMorgan אמר לאחרונה שטוקני AI הם "משהו שאנחנו מבלים עליו הרבה זמן, כמו כנראה כל מי שבתאגידים באמריקה".

מנכ"ל Palantir אמר ביולי ש"משהו השתבש לחלוטין" בעלויות AI. דוגמה מ-Uber: החברה כמעט ניפחה את תקציב ה-AI שלה ל-2026 בתוך ארבעה חודשים בלבד. Meta קיבלה פרסום לא רצוי כשעובדיה דירגו עובדים לפי שימוש בטוקנים — מה שגרר "tokenmaxxing" וחשבונות מטורפים.

וזה לא רק עניין של כמה טוקנים אתם צורכים. זו שאלה של איזה מודל אתם מפעילים לכל משימה. "אתם באמת לא צריכים את המודל הכי יקר כדי לסכם דוח אנליסט", הסביר מנהל הכספים של JPMorgan.

GPU יקרים — ועומדים ריקים

מחקר שבדק 107 ארגונים מעל 100 עובדים חושף תופעה מטרידה במיוחד: פער החישוב, או "Compute Gap".

83% מהארגונים מדווחים על שימוש ב-GPU של 50% או פחות. קרוב למחצית (49%) רצים על 25% שימוש או פחות. רק 12% עוברים את רף ה-50%. GPU שעומד ריק זה GPU יקר — ומדובר בפער היעילות הברור ביותר שנמדד.

במקביל, פחות ממחצית (44%) יכולים לעקוב בצורה קפדנית אחרי מה שה-AI Compute שלהם באמת עולה. 39% עוקבים באופן חלקי, ו-20% לא יכולים לכמת את זה בכלל.

וזה לא מונע מהם לקנות עוד: 45% מתכננים לבחון בשנה הקרובה ענני AI ייעודיים — קטגוריה שכמעט אף אחד לא משתמש בה היום. 64% מתכננים להחליף או להוסיף ספק תשתית תוך 12 חודשים, ו-38% מתכוונים לעשות זאת בתוך רבעון. שיעור תחלופה חריג לתחום כל כך יסודי.

ובכל זאת, אף אחד לא קונה לפי מחיר טוקנים. שיקול הרכישה המוביל הוא אינטגרציה עם ה-stack הקיים (41%) ו-Total Cost of Ownership (35%). מחיר למיליון טוקנים? רק 8% מציינים אותו כשיקול מרכזי. הקונים מתייעלים, לפחות בתיאוריה — אבל הם מתקשים למדוד את מה שהם קונים.

מה כן עובד?

אם תשאלו יועצים ומומחי CX, התשובה תהיה: אל תתחילו ממקרי שימוש — התחילו מתשתיות. "השקיעו בתשתיות, לא ב-use cases", מייעץ Jeff Fettes, מנכ"ל Laivly. "אתם משקיעים ביכולת של הצוות שלכם לעשות עבודה טובה יותר בכל מה שהם עושים, וגם להגיב לבעיות של מחר — לא רק לבעיות שיש לכם היום."

מחקר של Laivly מראה שיותר מ-40% מפרויקטי AI בתחום ה-CX מתעכבים, 33% חורגים מהתקציב, ו-48% איבדו הכנסות — 28% כי ה-AI לא מצליח להתמודד עם צרכי לקוחות, ו-20% פשוט לא יודעים למה או כמה.

הפתרון, לדברי Fettes, הוא לא להתחיל מה-20% ש-AI יכול לפתור לבד, אלא לבנות AI Infrastructure שמטפל בכל ה-workflow מתחילתו ועד סופו. "כשאתם מזרימים 100% מהשיחות דרך AI כדי לאמץ 20%, וה-80% הנותרים הולכים לסוכן שגם הוא משתמש ב-AI — עכשיו קיבלתם ערך. הלקוחות שלכם מקבלים חוויה טובה יותר, הצוות שלכם עובד טוב יותר, וההנהלה שלכם רואה ערך מהמערכת כולה."

במקרה אחד, חברה שראתה את שירות הלקוחות כ-cost center הצליחה להפוך אותו ל-profit center: אחרי שהורידו את מחיר יצירת קשר ממספר דולרים לעשרים סנט, הם גילו שכל פעם שלקוח יוצר קשר — הם מרוויחים כסף מדיד.

מה הלאה?

אם אתם קוראים את זה ומרגישים קצת לא בנוח — כנראה שאתם עושים משהו נכון. כי מי שמרגיש בנוח עם ההוצאות הנוכחיות כנראה לא עוצר לשאול את השאלות הקשות.

המומחים ממליצים על שלושה צעדים: ראשית, להבין באמת מה ה-CX והתהליכים שלכם מספקים היום. שנית, להקים AI Infrastructure סביב ה-CX שלכם — כזה שיאפשר לכם לפרוס AI ככלי אחד מתוך רבים, כולל הכשרה, פיתוח ושימוש בניסיון של הצוות. שלישית, להתמקד במדידה — לא של מקרה שימוש בודד, אלא של ההשפעה על כל הארגון.

כי בינתיים, הפער בין מה שחברות מוציאות לבין מה שהן מודדות רק גדל. ואם לא תסגרו אותו עכשיו — הוא פשוט יעמיק כשתקנו את שכבת התשתית הבאה.