נאדלה דורש בלם חירום למודלי AI

מנכ״ל Microsoft, סאטיה נאדלה, פרסם בסוף השבוע פוסט ב־X שבו הוא מגדיר מחדש את האופן שבו ארגונים צריכים להסתכל על מערכות AI מתקדמות. המסר שלו ישיר למדי, ודי מפתיע מצד מי שמוביל חברה שמשקיעה הון עתק בתחום: יש להתייחס למודלים מתקדמים כמו לסיכון פנימי בארגון.

מה בעצם הבעיה

הטיעון של נאדלה הוא טכני בעיקרו. בתוכנה קלאסית יש נראות: מפתח יכול לעקוב אחרי ההתנהגות של קוד, קונפיגורציות וקלטים ולהגיע לשורש הבעיה. זה לא המצב במודלים של היום. ״אותו סוג של הבנה מכניסטית חומק מאיתנו במערכות בינת־העל של היום״, הוא כותב ומוסיף: ״אנחנו לא יכולים לייחס התנהגות ופלטים של מודל לקלט, למידע אימון או לקונפיגורציות ספציפיות של משקולות המודל״.

אז למה זה מטריד? כי למרות חוסר הוודאות הזה, ארגונים כבר נותנים למודלים גישה למידע הרגיש ביותר שלהם, ומאפשרים להם לפעול בשמם כמערכות שפועלות כסוכנים. נאדלה מבהיר שלא צריך זדון כדי ליצור נזק: מודל עוצמתי יכול לטעות, להיות נתון למניפולציה או להיפגע — בזמן שיש לו גישה למערכות ולהחלטות עם השלכות כבדות.

הפתרון: הכלה ובלם חירום

המסגור של נאדלה הוא הכלה. ההנחה צריכה להיות שהמודל עלול להיות פגום, ולכן צריך להגן עליו כבר מההתחלה, ולא להוסיף בקרות חירום אחרי שמשהו נשבר. ההשוואה שלו היא לבלם חירום. ״אדם מורשה תמיד צריך להיות מסוגל להשהות או לסגור מודל באמצע משימה״, הוא כותב. מודלים מתקדמים יותר, לדבריו, ידרשו טכנולוגיות הכלה מתקדמות יותר.

בפוסט הוא מפרט גם עקרונות עיצוב: גיוון במודלים, ניטור של כל פעולה משמעותית, יכולת אימות ומנגנוני שליטה עצמאיים. הנקודה המרכזית מבחינתו היא שהשליטה לא צריכה לשבת בתוך המודל — האינטליגנציה של המודל והסמכות שניתנת לו צריכות להיות מופרדות, כשההרשאות מנוהלות מבחוץ.

לא להשאיר את האחריות למישהו אחר

נאדלה גם יוצא נגד הרעיון שארגונים יכולים להסתמך על מפתחי ה־AI כדי להבטיח שהמודלים שלהם בטוחים. זאת אומרת, גם אם המודל מגיע מספק חיצוני, הארגון עצמו צריך לשמור על שליטה במה שהמודל רואה, לאילו דברים יש לו גישה ואילו פעולות הוא יכול לבצע. ״אנחנו לא יכולים להעביר החוצה את האחריות״, הוא מנסח את זה ברוח הזו.

הקונטקסט רחב יותר: בשבועות האחרונים בכירים בתעשייה — בהם דריו אמודיי מ־Anthropic, סם אלטמן מ־OpenAI ואלון מאסק — קראו להאט את הפיתוח של מודלים מתקדמים. נאדלה, שתחת הנהגתו הפכה Microsoft לאחת השחקניות המרכזיות בתחום, מצטרף עכשיו לקריאה הזו, אבל מציע גם מתודולוגיה קונקרטית. השורה התחתונה שלו חדה: ״מערכת בינת־העל האמינה ביותר לא תהיה זו עם המודל שאנחנו הכי בוטחים בו, אלא זו שמאפשרת לנו לבטוח במודל כמה שפחות״.

אם זה נשמע מוזר שמנכ״ל החברה שמוכרת את השירותים האלה אומר את זה — זה בדיוק העניין. מערכות בטוחות לא נמדדות לפי כמה אנחנו סומכים על המודל, אלא לפי כמה אנחנו מסוגלים לשלוט בו.