מדען Google DeepMind: סקיילינג של כוח חישוב ונתונים עדיין משפר מודלי AI משמעותית

יאו שוניו, מדען מחקר בכיר ב-Google DeepMind וחוקר לשעבר ב-Anthropic, טוען כי עדיין קיים פוטנציאל רב לשיפור מודלי AI באמצעות הגדלת כוח החישוב והנתונים. לדבריו, שיטת הסקיילינג – הגדלת משאבי החישוב והנתונים לאימון מודלים מתקדמים יותר – צפויה להניב תוצאות לפחות שנה נוספת, "עד שנגיע לגבול הקשה של הנתונים".

"עדיין יש הרבה פירות נמוכים שקל לקטוף", אמר יאו בראיון. הצהרותיו מגיעות על רקע דיונים סוערים בקהילת ה-AI על עתיד הסקיילינג, זמן קצר לאחר ש-Ilya Sutskever, ממקימי OpenAI, טען בפודקאסט כי התעשייה חוזרת ל"תקופת מחקר" לאחר "תקופת סקיילינג".

רקע: השקעות ענק ומחלוקות

התעשייה משקיעה מאות מיליארדי דולרים בתשתיות AI. ענקיות כמו Google ו-Microsoft בונות מרכזי נתונים ענקיים ומזמינות שבבי AI מתקדמים מ-Nvidia, מתוך תקווה שמודלי שפה גדולים (LLMs) ימשיכו להשתפר. עם זאת, עליית סטארט-אפים סיניים כמו DeepSeek ו-Moonshot AI מעלה שאלות. חברות אלה, המוגבלות בגישה לשבבים אמריקאיים מתקדמים, מתמקדדות בשיפורים אלגוריתמיים במקום בסקיילינג מסיבי.

יאו סבור שאין צורך לבחור בין סקיילינג למחקר: "התעשייה תמיד עוסקת בשניהם". אך יש חששות מבועת השקעות ב-AI, שבהן hyperscalers אמריקאיים מובילים את המרוץ.

האם חוקי הסקיילינג יחזיקו מעמד לנצח?

מנכ"ל OpenAI, Sam Altman, הוא מעריץ מושבע של חוקי הסקיילינג, שזוהו לראשונה בשנת 2020 והושלמו בשנת 2022. חוקים אלה קובעים כי "האינטליגנציה" של מודל AI גדלה בערך לוגריתמי של משאבי האימון – כלומר, הגדלה אקספוננציאלית בכוח חישוב ונתונים תוביל לביצועים טובים יותר. הם מנחים מהנדסים לגבי גודל המודל הבא שיש לבנות וכמה שיפור ניתן לצפות.

אך ההיסטוריה מלמדת כי חוקי סקיילינג אינם בהכרח חוקי טבע. הם לעיתים קרובות מבוססים על התאמה לנתונים ניסיוניים, ועלולים לקרוס כאשר מתרחקים מהתנאים המקוריים.

דוגמאות היסטוריות לכשל בסקיילינג

• גשר טקומה נארוז (1940): תכנון הגשר התבסס על סקיילינג מגשרים קטנים יותר, אך הוביל לקריסתו עקב רעד אווירודינמי בלתי צפוי (aeroelastic flutter).
• חוק מור: מספר הטרנזיסטורים בשבבים הוכפל כל שנתיים, אך הגיע לקצה גבול פיזי כשהטרנזיסטורים קטנו לממדי ננומטר. דליפות זרם והתנהגות בלתי צפויה עצרו את ההקטנה הפשוטה.
• סקיילינג במיקרו-שבבים: חוק דנארד (הפעלת יותר טרנזיסטורים קטנים במהירות גבוהה באותה צריכת חשמל) נכשל בגלל מגבלות פיזיקליות.

חוקי הסקיילינג במודלי שפה אינם שונים: הם מתאימים לנתונים נוכחיים, אך אינם מבטיחים התמדה. הם מתעלמים ממגבלות כמו זמינות נתוני איכות גבוהה, יכולת התמודדות עם משימות חדשות, מגבלות בטיחות, ועלויות בניית מרכזי נתונים ורשתות חשמל.

אתגרים עתידיים: מגבלות נתונים, אנרגיה וכלכלה

החברות מהמרות מאות מיליארדי דולרים על המשך הסקיילינג, אך ניתוחים מצביעים על פערים. Deutsche Bank הזהירה מפערי מימון של 800 מיליארד דולר בין הכנסות AI צפויות לבין השקעות בשבבים, מרכזי נתונים וחשמל. JP Morgan מעריכה כי התעשייה זקוקה ל-650 מיליארד דולר הכנסה שנתית על מנת להחזיר 10% על ההשקעות.

בינתיים, עקומות הסקיילינג נראות חלקות, אך מגבלות בנתונים, באנרגיה, בתשלום משתמשים ובצווארי בקבוק אחרים עלולות לכופף אותן. השאלה היא אם מדובר בחוק טבע או בעקומה המתאימה לנתונים.

יאו שוניו אופטימי לטווח הקצר, אך ההיסטוריה מזהירה: סקיילינג עשוי להסתיים, ולהוביל לעידן חדש של חדשנות.