OpenAI בנתה חדר בקרה שעוצר הרצת מודלים תוך 35 שניות

כשהמודלים נעשים חזקים יותר, הבעיה של OpenAI היא לא רק איך לאמן אותם — אלא איך לעצור אותם כשמשהו משתבש. לשם כך החברה בנתה מערכת בשם Control Room: שכבת פיקוח מרכזית שיושבת מעל כל עומסי העבודה המחקריים שלה, ויכולה להפסיק את הפקת הפלט ממודל בתוך 35 שניות מרגע ההחלטה להתערב. זה אולי נשמע כמו פרט תפעולי משעמם, אבל זה בדיוק סוג התשתית שהופך את המרוץ למודלים חזקים יותר למשהו שאפשר לנהל בלי לאבד שליטה.

אז מה בעצם נבנה כאן?

Control Room היא לא מודל בעצמה. היא שכבת בקרה שמחברת אליה את כל עומסי העבודה המחקריים שבהם מתבצעת הסקה — דגימה אג'נטית לאימון ולהערכה של מודלים, עיבוד נתונים, ניסויים בלמידת חיזוק ועוד. היא עובדת יחד עם מערכות הניטור של החברה לזיהוי אי־התאמה לכוונות, וכשמתעורר חשש בטיחותי או אבטחתי — היא עוצרת או משהה את המשימה.

העיקרון פשוט יחסית: כל משימה חדשה מקבלת job_id מ-Control Room. בכל פעם שעומס העבודה רוצה לדגום טוקנים, הוא שולח בקשה למנוע ההסקה, והוא פונה ל-Control Room לאישור. אם המשימה סומנה כמושהית, הבקשה נדחית והפקת הפלט נעצרת. שימו לב לנקודה המעניינת — מנגנון העצירה יושב בשכבת ההסקה ולא בקוד של עומס העבודה. למה? כי קוד של ניסויים משתנה כל הזמן ונמצא באחריות חוקרים, וזה לא מקום לשים בו הגנה קריטית. שכבת ההסקה, לעומת זאת, ממירה את כל פעילות המחקר למספר קטן של נתיבי קוד ריכוזיים — נקודת בקרה אחת שדרכה עובר הכול.

35 שניות, ובשאיפה לאפס

הזמן המרבי מרגע ההוראה ועד לחסימת המשימה הוא 35 שניות. מאיפה מגיעה ההשהיה? משכבת מטמון של אישורי הסקה, שנועדה לתמוך בנפח התעבורה. OpenAI מציינת שהיא פועלת לצמצם את הזמן הזה לאפס, כדי לעצור משימות באופן מיידי.

וזה עוד לא הכול: המערכת תוכננה לשרוד כשלים. היא אמורה להמשיך לעבוד גם כשמערכות אחרות נופלות, ואם Control Room עצמה מפסיקה לתפקד — בין שמדובר בשגיאה ובין שמישהו השבית אותה בזדון — כל בקשות ההסקה יידחו עד שהיא תחזור. זה עיקרון ״חסימה בעת כשל״ (fail-closed), והמנגנון הזה כבר נפרס בכל עומסי העבודה המחקריים של מודלי החזית. פריסה לשאר עומסי העבודה המחקריים אמורה להסתיים בימים הקרובים.

למה זה מעניין אתכם

כל מי שעבד עם סוכנים אוטונומיים יודע שהבעיה האמיתית היא לא היכולת שלהם לפעול, אלא היכולת לעצור אותם. OpenAI מזכירה דוגמה מהעולם האמיתי: תקרית DNS שאירעה לאחרונה זוהתה על ידי מודל מנטור — מודל נוסף שבוחן את כל הפעולות של המודל שמאמנים ומפיק התרעה כשמשהו נראה חשוד. כלומר, הפיקוח עצמו הופך לרכיב אוטומטי בפייפליין.

וזו הנקודה הרחבה יותר. ככל שמודלים נעשים חזקים יותר, יכולות בטיחות ואבטחה הופכות מ״משהו שמוסיפים בסוף״ לתשתית עצמה — בקרה, ניטור ועצירה מהירה. Control Room כבר פרוסה בתשתית המחקר, וזו בדיוק הסביבה שבה נמצא הסיכון הגדול ביותר, כי שם רצים הניסויים. לעומת זאת, מערך הגשת המודלים למשתמשים חיצוניים כבר ריכוזי מטבעו, עם יכולות תפעוליות מהירות לכיבוי פריסות.

המערכת היא חלק אחד מגישה רחבה יותר. OpenAI מציינת שהיא תמשיך להרחיב ולחזק אותה בחודשים הקרובים, לצד ההשקעה בניטור התנהגות לא תואמת ובאיתור פרצות אבטחה. ולמי שרוצה להצטרף — החברה מגייסת.

בקצב שבו המודלים צומחים, חדרי בקרה הם כנראה לא ההימור הכי סקסי בתעשייה — אבל אולי זה בדיוק מה שמחזיק אותה יחד.