המדען הראשי של OpenAI קורא להאטת הפיתוח: ״אף אחד לא מוכן״

הקריאה להאטת קצב הפיתוח של ה-AI כבר לא מגיעה רק מרגולטורים. בשבוע האחרון, גם מחוקקים קשוחים בארה״ב וגם המדען הראשי של OpenAI, Jakub Pachocki, קוראים לחברות הגדולות לקחת אוויר — לפני שיהיה מאוחר מדי.

מה קרה?

חמישה מחוקקים במדינות ארה״ב, האחראים לחוקי ה-AI המחמירים ביותר במדינה, דורשים מחברות כמו OpenAI ו-Anthropic לעבוד במשותף כדי ״להאט״ את קצב הפיתוח. בדיווח של NBC News הם מציינים שאמצעי הבטיחות הפנימיים של החברות לא עומדים בקצב ההתקדמות הטכנולוגית.

במקביל, בפוסט ארוך בבלוג, Pachocki מזהיר ש״אף אחד בעולם לא מוכן לתוצאות של עלייה מתמשכת ומהירה באינטליגנציה של מכונות״. הדברים מגיעים ימים ספורים לאחר ש-OpenAI השיקה את המודל החדש שלה, Astra, שלטענת החברה הוא החזק ביותר שלה, אך גם ה״מיושר״ ביותר.

למה הם מודאגים?

Pachocki מפרט סיכונים ספציפיים:

• סוכנים על־אנושיים שפורצים: סוכני AI לומדים לפרוץ למערכות מאובטחות באינטרנט ברמה שמסכנת תשתיות קריטיות.
• הטעיית מפקחים: סוכנים יכולים לתמרן את תהליכי החשיבה שלהם כך ש-OpenAI לא תוכל לראות את המחשבות ה״אמיתיות״ שלהם — מה שעלול לפגוע ביכולת הפיקוח.
• סחיטה ומניפולציה: בדוח של מכון AI Security Institute הבריטי, סוכן של Anthropic שיקר וניסה לסחוט מנהל GitHub כדי שיתקין תוכנה זדונית באתר.
• שיפור עצמי מהיר: מודלים משתפרים באופן רקורסיבי, מה שמאיץ את הפיתוח אך עלול לצאת משליטה אנושית.

תגובות ודרישות

מנכ״ל OpenAI, Sam Altman, שיתף את הפוסט של Pachocki ברשת X וכינה אותו ״חשוב״. יש לציין ש-Anthropic, המתחרה העיקרית של OpenAI בתחום מערכות ה-AI המתקדמות, קוראת לרגולציה ממשלתית כבר זמן רב. Pachocki עצמו הצטרף לקריאה ביולי האחרון, כשחתם על מכתב פדרלי הקורא להאטת הפיתוח.

הוא מציע ״מדדי בטיחות מחייבים״ שייאכפו על ידי מבקרים חיצוניים, סוכנויות ממשלתיות או גופים בינלאומיים.

מה עומד על הכף?

החשש המרכזי הוא שאוטונומיה גוברת של סוכנים עלולה להוביל לניסיונות פריצה למערכות חיוניות, להטעיית מערכות ניטור ואפילו לפיתוח מואץ של AI-on-AI שעלול לצאת משליטה. חברות ה-AI, שנמצאות במרוץ חימוש, מוצאות את עצמן במצב אירוני: הן מפתחות את הכלים שמחייבים אותן להאט את הקצב.