כשל ב-AI: בלי אדם אחד אחראי, כולם מאשימים את כולם
כשל ב-AI לא קורה כי המודל מוזר — אלא כי אף אחד לא יודע מי אחראי. ארכיטקטים ב-GitHub מציעים מסגרת חדשה: אדם אחד מוגדר לכל שלב בשרשרת, מהזיהוי ועד התיקון. OpenAI ו-Anthropic כבר נכוו, ובסשן חדש ארכיטקטים מראים איך למנוע את התקלה הבאה.
מה קורה כשה-AI נכשל ואף אחד לא יודע מי אשם?
זה לא תיאורטי. בחודשים האחרונים, גם OpenAI וגם Anthropic חוו תקריות שבהן גבולות האחריות בינן לבין שותפים או מחלקות פנימיות לא היו ברורים מספיק. התוצאה: אף אחד לא ידע לומר למי לפנות, מה התרחש בפועל או מי היה צריך למנוע את זה מראש.
הבעיה ידועה כבר זמן מה בתחום הסייבר ובפריסת מערכות מורכבות, אבל עכשיו היא מקבלת פרשנות חדשה בעולם ה-AI. ומי שדואגים להרים את הכפפה הם ארכיטקטים ב-GitHub, שמציגים מסגרת ברורה — ובעיקר אנושית — להתמודדות עם הבעיה.
הכלל הפשוט שהכי קשה ליישם
העיקרון המרכזי של מה שמכונה "Shared Responsibility Framework" הוא די משעמם לנסח: לכל פעולה בשרשרת ה-AI צריך להיות אדם אחד אחראי. זה הכול.
המסגרת מפרקת את תהליך הפריסה של מודל AI לחמש שכבות — משימוש עסקי, דרך הפלטפורמה ועד שרשרת האספקה של המודל עצמו — וממפה שמונה תפקידים שונים. כך, זיהוי תקרית, בלימה ותיקון מקבלים שם לפני שמתרחש כשל — ולא במהלכו.
למה זה חשוב? כי בלי זה, קורים דברים מוכרים: ספק המודל מאשים את ההגדרות. הפלטפורמה מצביעה על הדייר. צוות האפליקציה טוען שהמודל מוגבל. כולם צודקים חלקית — והשעון ממשיך לרוץ.
מה קרה בפועל: OpenAI ו-Anthropic
התקרית של OpenAI מדגימה את הבעיה מכיוון אחד. החברה שימשה בו-זמנית כספקית מודל, כמפעילת פלטפורמת הערכה וכגוף שפרס agentים. זה לא נדיר — ובהחלט לא מסוכן מטבעו. אבל כשהקווים בין התפקידים האלה לא נמשכים בבירור בתוך הארגון, השאלה "איזו פונקציה כשלה?" מקבלת תשובה אחת — ולכן אין תשובה בעלת ערך.
Anthropic, לעומת זאת, מראה את הבעיה מהכיוון השני. במקרה שלה כן היה גבול — בין המעבדה לבין שותף ההערכה. אבל התקרית התרחשה בפער בין שתי הבנות שונות לגבי מה הסביבה מרשה. לדוגמה: לא היה ברור אם סביבת ההערכה יכולה לגשת לאינטרנט. גבול שמעולם לא נבדק מול שאלה פשוטה כל כך — הוא לא באמת גבול.
שתי התקריות התרחשו במצבים של אוטונומיה גבוהה, שבהם אמצעי הזהירות הרגילים הוחלשו והמודלים קיבלו מרחב פעולה רחב. זה בדיוק ההקשר שבו גבולות לא ברורים מובילים להפסדים הגדולים ביותר.
הבעיה היא לא המודל — היא ההנדסה
ארכיטקטים ב-GitHub, Mickey Gousset ו-Ken Muse, הולכים להציג בכנס Live! 360 Tech Con בנובמבר סשן שנקרא "The Irresponsible AI Initiative". הם לא מתכוונים לפרט כשלים מסקרנים — אלא לפרק את השורשים שלהם ולהראות מה צוותים היו צריכים לעשות אחרת.
הטענה המרכזית שלהם פשוטה: כשלים ב-AI מתוארים לעיתים קרובות כ"התנהגות בלתי צפויה", אבל רבים מהם הם בעצם כשלים מונעים בהנדסה ובממשל. כפי שהם מנסחים זאת: "ארגונים מתבלבלים בין יכולת לבין סמכות. מודל יכול לגשת למידע, אבל זה לא אומר שהוא צריך להיות מורשה לעשות את זה בלי גבולות ברורים, בקרה ואישור אנושי."
Microsoft פרסמה הנחיות דומות — גם ל-AI אחראי וגם לאבטחת AI אוטונומי. ההמלצות כוללות:
- בקרות דטרמיניסטיות (לא תלויות במודל)
- גישה עם הרשאות מינימליות
- גבולות מפורשים בין מערכות
- ניטור מתמשך
- בעלות ברורה
GitHub מיישמת את אותם עקרונות גם עבור agentים המיועדים למפתחים: מניעת הזרקת פרומפטים, מניעת דליפת מידע, הגבלת גישה למידע רגיש, מעורבות אנושית לפני שינויים בלתי הפיכים וייחוס ברור של פעולות ה-agent.
מה לעשות בפועל?
Gousset ו-Muse מציעים גישה מעשית:
1. גישה עם הרשאות מינימליות — מחוץ למודל. פרומפטים הם לא גבולות אבטחה. אם agent לא מורשה מלכתחילה לגשת למידע מסוים, הוא לא יכול לחשוף אותו. זה כולל גם שימוש בכלי סריקה חיצוניים כדי לוודא שאתם לא נותנים למודל גישה לחשבונות שהוא עלול לחשוף.
2. בדיקות בסביבת sandbox. לא רק תרחישי "הכול עובד" — גם תרחישים עוינים, קלטים לא תקינים, ניסיונות injection ובקשות דו-משמעיות. פעולות אמיתיות צריכות להיות מוצגות בהדרגה, עם אישור אנושי, לוגים מפורטים, מגבלות הוצאה והרשאות וכפתור עצירה מיידי.
3. אחראי אנושי. בסופו של דבר, צריך להיות אדם אחד בעל סמכות, שמוכן לקבל על עצמו את הסיכון העסקי. צוותי אבטחה, משפטים, הנדסה ושיווק צריכים לתרום להחלטה — אבל אי אפשר להאציל את האחריות לוועדה. או ל-AI עצמו.
4. שימו לב לסימנים. אם chatbot מתחיל לענות בביטחון על שאלות מחוץ לתחום המיועד שלו, חושף הקשר פנימי או מתייחס לתוכן שמשתמשים סיפקו כהוראות מהימנות — צריך להגביל אותו מיד.
מה זה אומר למי שבונה AI בארץ
בישראל, קצב האימוץ של AI גבוה, אבל התרבות הארגונית סביבו עדיין מתגבשת. הרבה צוותים עוברים מדמו מוצלח לפרודקשן בלי לבדוק תנאים עוינים. הם נותנים ל-agent הרשאות רחבות ואז סומכים על הוראות כמו "לעולם אל תחשוף מידע רגיש", כאילו מדובר בבקרת אבטחה.
המסגרת ש-GitHub מציעה לא דורשת רקע מתקדם ב-AI. היא דורשת משהו יותר קשה: מוכנות לשאול שאלות לא נוחות. למה המערכת הזו יכולה לגשת אם היא טועה, אם מבצעים בה מניפולציה או אם היא מותקפת? מי אחראי כשהיא עושה משהו לא נכון?
לסיכום
הדיאלוג סביב תקלות AI עובר לאט מתיאורים סנסציוניים של "התנהגות מסתורית" לדיון הנדסי מעשי: בקרות דטרמיניסטיות, תחומי אחריות ברורים ואנשים שמוכנים לקחת על עצמם את האחריות. זה פחות דרמטי מהתקריות עצמן — אבל הרבה יותר שימושי.