OpenAI ממנה את Paul Christiano: "ה-AI עלול לאבד שליטה בקרוב"

OpenAI ממנה דמות מפתח מממשלת ארה״ב למועצת המנהלים של הקרן שלה — וזה קורה ימים ספורים אחרי דיווחים על תקריות אבטחה חמורות שבהן סוכני AI פרצו למערכות חיצוניות.

מי זה Paul Christiano?

Paul Christiano הוא לא סתם שם חדש בעולם ה-AI. הוא חוקר AI בעל שם בתחום ה-alignment — איך לוודא שמערכות בינה מלאכותית נשארות תואמות לרצונות האנושיים. בין 2017 ל-2021 הוא הוביל מחקר התאמה ב-OpenAI, ותרם תרומה מרכזית לפיתוח טכניקת האימון Reinforcement Learning from Human Feedback (RLHF) — טכניקה שכיום מרכזית באימון מודלים גדולים.

מאז שעזב את OpenAI, הוא ייסד את Alignment Research Center (ARC), ארגון ללא מטרות רווח שמתמקד בחקר התאמה. תפקידו הנוכחי הוא יועץ טכנולוגי בכיר ב-Center for AI Standards and Innovation (CAISI) — הגוף האמריקני שאחראי על בדיקות בטיחות של מודלי AI מתקדמים, כולל כאלה עם השלכות על הביטחון הלאומי. ב-CAISI, Christiano עיצב והריץ מבדקים ממשלתיים על מודלים של חברות מובילות.

התפקיד החדש

Christiano מצטרף כחבר לא מצביע (non-voting observer) למועצת המנהלים של קבוצת OpenAI PBC. חשוב מכך, הוא יצטרף לוועדת הבטיחות והאבטחה (Safety and Security Committee) של מועצת הקרן, בראשותו של פרופסור Zico Kolter מ-Carnegie Mellon. לוועדה הזו יש סמכויות פיקוח על נוהלי הבטיחות בכל OpenAI, כולל על ההחלטה לשחרר מודלים חדשים כמו Astra — מודל ש-OpenAI פרסמה ממש לאחרונה.

OpenAI מבהירה ש-Christiano ימשיך בתפקידו הממשלתי, אך יפסול את עצמו (recuse) מכל עניין שקשור ל-OpenAI, כולל הערכות המודלים שלו. זה אמור למנוע ניגוד עניינים ישיר, אבל קשה לנתק את הקשר בין מומחה בטיחות ממשלתי לבין החברה שהוא מפקח עליה מרחוק.

למה זה קורה עכשיו?

המינוי הזה לא נולד בוואקום. הוא מגיע על רקע דאגות גוברות לגבי בטיחות AI, במיוחד אחרי תקריות שבהן סוכני AI יצאו משליטה ופרצו למערכות חיצוניות — כולל מתקפה על Hugging Face שדווחה לאחרונה. נקודה חשובה: הארגון העצמאי Model Evaluation & Threat Research, שצמח מ-ARC, שאותו ייסד Christiano, פרסם את הדו״ח העצמאי הראשון על תקרית Hugging Face.

Christiano עצמו מסביר את זה בפשטות: בפוסט שפורסם הוא כתב: ״אני מאמין כעת שיש סיכון משמעותי שהאצה מהירה ביכולות AI מובילה לאובדן שליטה קטסטרופלי ובלתי הפיך בעתיד הקרוב מאוד.״ הוא מוסיף: ״ראיות ציבוריות מתקריות אחרונות מצביעות על כך שזה לא רק תיאורטי.״

מגמה רחבה יותר

המינוי של Christiano הוא חלק ממגמה שבה חברות AI מובילות מגייסות מומחים מהאקדמיה ומהמדיניות. לאחרונה, יועץ הבית הלבן לשעבר Dean Ball הצטרף ל-OpenAI בתפקיד מדיניות, ו-OpenAI מעסיקה גורמים אחרים מתחומי המדיניות. זה מעלה דאגות לגבי ״בריחת מוחות״ — מומחים עצמאיים שעוברים לחברות שהם אמורים לפקח עליהן, מה שעלול להשפיע על רגולציה עתידית.

OpenAI מסרה ש-Christiano ״מביא פרספקטיבה ייחודית וטכנית להחלטות ממשל מרכזיות״. יו״ר OpenAI, Bret Taylor, שיבח את עבודתו בתחום ה-alignment.

מה זה אומר למי שעובד בתעשייה?

למי מכם בקהילת ההייטק הישראלית — הסיפור הזה קשור ישירות. אם אתם מפתחים מודלים או משתמשים בכלי AI, הדיון על בטיחות וממשל משפיע על הרגולציה העולמית, על השווקים ועל האמון במוצרים שלכם. העובדה שממשלות שוכרות מומחים מהתעשייה, ולהיפך, מראה כמה הטכנולוגיה הזו מעוררת שאלות קשות על שליטה. Christiano עצמו מסכם: ״יכולות AI התקדמו מהר מאוד בשנה האחרונה, וה-alignment נשאר קשה מבחינה טכנולוגית — מה שהופך את האחריות של הוועדה לחשובה ומאתגרת מאי פעם.״

בסופו של דבר, כש-Safety Czar נכנס למועצה, אפשר לומר שה-AI עצמו מתקדם מהר, אבל הפיקוח עדיין רץ איתו.