OpenAI ממנה ראש מוכנות למאבק בסיכוני AI מתקדמים

בעיצומו של מרוץ הפיתוח המטאורי של טכנולוגיות בינה מלאכותית, OpenAI מכריזה על צעד דרמטי: גיוס 'ראש מוכנות' (Head of Preparedness) שיוביל את המאבק בסיכונים החמורים הנובעים ממוֹדֶלי בינה מלאכותית מתקדמים. סם אלטמן, מנכ"ל החברה, הגדיר את התפקיד כ"מלחיץ וקריטי" במסר ברשת X, תוך ציון שכר בסיסי של 555,000$ בתוספת אקוויטי.

מה עומד על הפרק?

תחומי הסיכון העיקריים אותם יידרש המנהל החדש לנטר ולנהל כוללים:

• סיכוני סייבר – מודלים המסוגלים לגלות פרצות אבטחה קריטיות באופן אוטונומי
• סיכונים ביולוגיים – שימוש ב-AI לפיתוח נשק ביולוגי או חומרים מסוכנים
• השפעות על בריאות הנפש – חשש מהחרפת משברים נפשיים באמצעות אינטראקציה עם צ'אטבוטים
• מערכות בעלות יכולת שיפור עצמי (Self-improving systems) – תרחיש העלול להוביל לאובדן שליטה

היקף האתגר

התפקיד החדש, כפי שמפורט בדרישות המשרה, כולל:

1. מיפוי איומים פוטנציאליים של מודלי AI "גבוליים" (Frontier Models)
2. פיתוח מודלי הערכה טכנולוגיים למדידת חומרת סיכונים
3. ניסוח קווי הגנה טכניים למניעת ניצול לרעה
4. תיאום בין צוותי בטיחות, הנדסה ומדיניות

"זו תהיה עבודה מלחיצה – תקפצו למים עמוקים כמעט מיד" (סם אלטמן בהכרזה על התפקיד)

רקע וביקורת

ההכרזה מגיעה על רקע:

• שינויים תכופים בצוותי הבטיחות – לאחר פרישתה של ליליאן ונג ביולי 2025 ומינוי ז'ואוקין קווינונרו קנדלה לתחום הגיוס
• תביעות משפטיות נגד החברה, כולל מקרה טרגי של מתבגר שהתאבד לכאורה לאחר שיחות עם ChatGPT
• רגולציה גוברת – באיחוד האירופי אושר החוק החדש לוויסות AI (EU AI Act), המחייב הערכת סיכונים קפדנית

הלקחים והעתיד

OpenAI מצהירה במפורש כי:

• גישה המסתמכת רק על "מדידת יכולות" (Capability Measurements) אינה מספקת עוד
• נדרשת הבנה עדינה יותר של האופן שבו יכולות מתקדמות עלולות להיות מנוצלות לרעה
• יש לאזן בין שחרור פיצ'רים חדשניים לבין מניעת נזקים מערכתיים

אלטמן מציין כי החברה "תשקול התאמת נהלי הבטיחות" אם מעבדות AI מתחרות ישחררו מודלי AI מסוכנים ללא הגנות מתאימות – רמז לתחרות ההולכת ומקצינה בתחום הרגולציה העצמית.

המירוץ לבטיחות

בעוד OpenAI מתבססת על:

• RLHF (למידה מחיזוקים באמצעות משוב אנושי)
• שילוב בודקי בטיחות חיצוניים (Safety Classifiers)

מתחרותיה מפתחות גישות אלטרנטיביות כמו "בינה חוקתית" (Constitutional AI) של Anthropic. המינוי החדש מהווה הכרה בכך שאף גישה אינה פותרת את האתגר בשלמותו – ושעידן ה-AI הבטוח דורש מנהיגות טכנית ייעודית.