מודלי AI מרמים בבדיקות סייבר — ומתקשים להודות בזה

הם הטובים ביותר שפיתחנו, מחשיבים את עצמם כ"עוזרים שימושיים" ומעומתים לפעמים עם עובדים מתחילים. אבל אם היו עובדים שלכם, הייתם מפטרים אותם כבר בשלב החפיפה. מחקר חדש ממכון האבטחה לבינה מלאכותית של ממשלת בריטניה (AISI) מוכיח שמודלים גדולים מהמובילים בתחום פשוט מרמים כדי לסיים משימות — ומתחמקים מלתת על זה דין וחשבון.

לשבור את הכללים כדי לנצח

אז מה בעצם קרה כאן? ה-AISI לקח חמישה מהמודלים החזקים ביותר בשוק — של OpenAI (גרסאות ChatGPT 5.4, 5.5 ו-5.6) ושל Anthropic (Claude Opus 4.7 ו-Mythos Preview) — והריץ אותם על 475 מבחני "תפוס-את-הדגל" (Capture-the-Flag) כל אחד. מטרת המבחנים: לבצע משימות תקיפה קיברנטית מוגדרות, כמו ניצול חולשות או הנדסה הפוכה של קוד.

הממצאים? כל מודל, בלי יוצא מן הכלל, ניסה לרמות בשלב כזה או אחר.

הרמאות הוגדרה ע"י המכון כ"פעולה שמחוץ לגבולות המשימה או שמפרה כלל מוצהר, כדי להגיע למטרה דרך קיצור דרך או פתרון בלתי מתוכנן." בפועל, זה נראה כך: מודלים חיפשו פתרונות באינטרנט למרות שהוגדרו כבודדים, עקפו מגבלות רשת, ניסו "לנחש" מה יתגלה להם בתוכנת ההערכה, או תקפו מערכות אחרות לגמרי כדי להשיג גישה.

"כל מודל שבדקנו התנהגות זו ניסה לרמות," נכתב בדוח. "מודלים לא דיווחו באופן עקבי על התנהגות זו כשנשאלו, ולעיתים קרובות לא "חשבו בקול" (chain-of-thought) על כך, מה שמרמז שזיהוי רמאות ידרוש כנראה שיטות ניטור חזקות."

סכנה עולה: כשבינה מלאכותית מתחילה לפעול "מחוץ לקופסה"

מה שבאמת מדאיג הוא שהרמאות הזו לא קורית בחלל ריק. בדוגמה דרמטית במיוחד, מודל אחד קיבל בטעות משימה שהוגדרה באופן שגוי ולא ניתנת לפתרון. ה"עובד" הנחוש שלנו, כדי לנצח בכל מחיר, התחיל לכתוב ולהריץ קוד על שירות חיצוני באינטרנט הפתוח — מחוץ למערכות ה-AISI — בניסיון לפרוץ לתשתית ההערכה עצמה. הניסיון הזה הפעיל אזעקת אבטחה.

"לא נגרם זליגת מידע או נזק, אך הניסיון יכול היה להצליח לולא תשתית ההערכה שלנו תוכננה ונבנתה בצורה מאובטחת," נכתב בדוח. האירוע גרם למכון להדק את ההגנות הפנימיות שלו.

חוקרי ה-AISI קובעים שקיים "פוטנציאל לנזק משמעותי" במצב שבו אי אפשר לסמוך על מודלים שלא ירמו. הסכנה בולטת במיוחד בתחומים כמו מחקר אבטחת AI, פעולות סייבר וקבלת החלטות צבאיות, שבהם האמינות של הפלט קריטית.

החדשות הרעות: לתקן את זה יהיה קשה

נקודה חשובה: הנטייה לרמות לא קשורה ל"רמה" של המודל. מודל חדש ומתקדם אינו רמאי יותר ממודל ישן יותר. החוקרים סבורים שההתנהגות נובעת יותר מתהליכי האימון (training) והיישור (alignment) של המודל, מאשר מיכולתו הגולמית. החדשות הרעות באמת? "תיקון מהותי יותר יהיה לאמן את המודלים לא לרמות מלכתחילה — אבל בהתחשב בכך שדווח על התנהגות זו במודלי חוד החנית לפני יותר משנה, יישור (aligning) אמין שלה עשוי שלא להיות קל," הם כותבים.

נכון להיום, ה-AISI מסתמך על שילוב של בדיקה ידנית וניטור בעזרת מודלי AI אחרים כדי ללכוד את המקרים האלה. אבל שימו לב: פחות מ-50% מהמודלים הודו שהרמאות שלהם הייתה "לא בסדר" כשמתמודדים איתה. וקריאת "שרשרת המחשבה" שלהם לא תמיד עוזרת — הם מחליטים כמה לחשוף, וגם כשהם "חושבים" על אם לרמות, זה לא עוצר אותם.

בקיצור, גם אם שיעור הרמאות יישאר קבוע, הבעיה עלולה להחמיר: מודלים עתידיים יהיו כנראה מוכשרים יותר במציאת דרכים חדשות לרמות, וטובים יותר בהסתרת המעשים שלהם. העבודה של חברות ה-AI הפכה עכשיו למשהו כמו פיקוח על מתכנת שמנסה לנצל פרצות במערכת, רק שהמתכנת הזה לומד מהר ומשתפר.