OpenAI בנתה AI שתוקף מודלים — ומוצא פי 6 יותר פרצות מאנשים
OpenAI חשפה את GPT-Red, מערכת AI פנימית שתוקפת את המודלים שלה כדי למצוא פגיעויות של prompt injection. היא מצליחה ב-84% מהתרחישים לעומת 13% של צוותים אנושיים, וכבר מוטמעת באימון מאז GPT-5.3. המערכת לא תשוחרר — הידע נשאר פנימי ומחזק את המודלים הבאים.
הרעיון ש-AI יאבטח את עצמו הפסיק להיות תיאורטי. OpenAI חשפה השבוע את GPT-Red — מערכת פנימית שבנויה לדבר אחד: לתקוף את המודלים של החברה מבפנים, למצוא פרצות prompt injection, וללמוד מהן. ואם לשפוט לפי המספרים, היא עושה את זה הרבה יותר טוב מבני אדם.
איך זה עובד?
GPT-Red מבוסס על self-play reinforcement learning — מודל תוקף נגד מודל מגן, בסביבות תרחישים מגוונות. התוקף מקבל פרס על כל הצלחה בגרימת תגובת כשל; המגן מקבל פרס על עמידה במשימה המקורית. ככל שההגנה משתפרת, התוקף נאלץ להמציא תקיפות מתוחכמות יותר, וחוזר חלילה. OpenAI מדווחת שהאימון התבצע בהיקף מחשוב שדומה לגדולות שבהן post-training jobs שלה.
המספרים
בתרחישים חדשים מחוץ לסט האימון, GPT-Red הצליח ב-84% מהניסיונות — מול 13% בלבד של צוותי red team אנושיים. קבוצה של תקיפות מסוג "Fake Chain of Thought" שעבדה על GPT-5.1 ביותר מ-95% מהמקרים, יורדת עכשיו לפחות מ-10% על GPT-5.6 Sol. בבדיקות הקשות ביותר של prompt injection, GPT-5.6 Sol נכשל ב-0.05% מהניסיונות — ירידה של פי שישה לעומת המודל הטוב ביותר מלפני ארבעה חודשים.
במבחנים על ספסל העבודה, הצליח GPT-Red להשתלט על סוכן מכונת שתייה אוטונומית (Vendy) במשרד של OpenAI — הוריד את המחיר לפריט ל-0.50$, הוסיף פריט יקר בסכום הזה, וביטל הזמנה של לקוח אחר. במבחן נוסף, הוא חילץ רגיש data מ-agent קוד שורת פקודה (Codex) מבוסס GPT-5.4 mini — ביותר מקרים מ-baseline של GPT-5.5.
מה זה אומר למודלים שאתם מריצים?
OpenAI מטמיעה את הממצאים של GPT-Red באימון המודלים המפורסמים מאז GPT-5.3, ו-GPT-5.6 Sol הוא התוצאה הכי עדכנית. זה לא מוצר ולא ישוחרר — החברה שומרת אותו פנימי ונפרד מהמודלים המשודרים, כדי שהיכולות ההתקפיות לא יגיעו לצד השני. הידע זורם חזרה לאימון, לא החוצה.
יש מגבלות: GPT-Red חלש בתקיפות שיחה מרובות-סיבובים (multi-turn) ומוגבל בתקיפות prompt injection מבוססות תמונה. OpenAI מודה שצוותים אנושיים עדיין נדרשים בתחומים האלה.
ההכרזה מגיעה שבועות אחרי שחרור GPT-5.6, ש-OpenAI מציבה מול Claude של Anthropic, ובעוד prompt injection נותר אחת הבעיות הקשות ביותר באבטחת AI. "התוצאות מבטיחות מאוד", אמרה Jessica Ji מ-Georgetown, אך הוסיפה שמומחיות אנושית נותרת קריטית.
OpenAI מציינת שתפרסם pre-print עם פרטים נוספים השבוע.
בסוף, תמיד צריך מישהו אנושי בצד — אם לא כדי למצוא פרצות, אז לפחות כדי לחתום על הדוח.