חוקר Anthropic: הסיכוי שה-AI יכחיד את האנושות גבוה מ-10%

דרמה בעולם ה-AI: חוקר בכיר ב-Anthropic, חברה שמפתחת מודלים כמו Claude, הצטרף לעמדתו של עמית שהתפטר לאחרונה וטען בגלוי שקיים סיכוי של יותר מ-10% שבינה מלאכותית ״תהרוג את כל בני האדם״ בתוך העשור הקרוב. ההתפטרות והווידוי הפומבי, שעוררו הד רב, חושפים את עומק המתח הפנימי בתוך תעשייה שחלק מראשיה מודעים לסכנות, אך נמצאים במרוץ חסר מעצורים.

הכול התחיל עם ג'ייקוב קוקסון, חוקר בן 27 שעבד שלוש שנים באימון מודלים, תחילה ב-OpenAI ואחר כך ב-Anthropic. ביום ראשון פרסם קוקסון שרשור ארוך ב-X, שבו הודיע על התפטרותו. ״אף חברה לא מתנהגת באחריות. הן דוהרות ישירות לסופר-אינטליגנציה בעלת יכולת לשיפור עצמי ומהמרות על החיים שלנו״, כתב.

קוקסון הסביר שעזב מכיוון שהחוקרים ב-Anthropic, בניגוד לחברות אחרות, כן מבינים היטב את הסיכונים, אך נמצאים במרוץ למנוע מחברה פחות אחראית להגיע לשם קודם. ״הם מאמינים שאף אחד אחר לא יפעל באחריות, אז הם חייבים לעשות זאת בעצמם, חרף הסיכון״, הוסיף.

המענה: אישור מטלטל מההנהלה

מה שהפך את הסיפור למדהים במיוחד היה התגובה של חוקר בכיר ב-Anthropic עצמו. אוון הובינגר, מוביל תחום ההתאמה (alignment science) בחברה, ציטט את הפוסט של קוקסון ואישר את הדברים.

״יעקב צודק — אנחנו באמת מאמינים בכנות שה-AI יכול להרוג את כל בני האדם!״ כתב הובינגר. ״אני אישית חושב שזה יותר מ-10% בעשור הבא. אני מאמין ש-Anthropic מנסה כמיטב יכולתה, אבל עדיין אין לנו תוכנית לפתור את בעיית ההתאמה לסופר-אינטליגנציה, ואנחנו בבירור לא בדרך לשם.״

הובינגר הוסיף שהסיכון אינו נובע מהמודלים הקיימים, אלא מ״שיפור עצמי רקורסיבי״ — היכולת של AI לשפר את קוד המקור או את שיטות האימון שלו בעצמו — תהליך שהקצב שלו, לדבריו, מהיר מהצפוי.

איזון, או פחדנות?

דבריו של קוקסון קוראים לפעולה דרסטית. הוא מציע שאולי נדרש ״איסור זמני על שיפור יכולות מודלים״ כדי למנוע מרוץ גלובלי קטסטרופלי. ״אם אתם חוקרים במעבדה, אני קורא לכם לחשוב איך באמת ייראו השנים הקרובות. האם אתם רוצים להתחיל ריצת RL של סופר-אינטליגנציה בלי להבין היטב את המוח שלה?״ שאל.

פרופ' רייבקין קליינברגר מאוניברסיטת נורת'איסטרן אמרה שכאשר חוקרים שבונים את המערכות האלה מעבירים אזהרות, ״צריך להתייחס לזה ברצינות״. היא ציינה שקשה להדביק את קצב המחקר הדרוש להבנת ההשלכות, ואת הצורך בזהירות.

בתוך כך, בארצות הברית כבר נשמעים קולות לפעולה רגולטורית. חברת הקונגרס לורי טראהן מקדמת את ה-Frontier Act, חקיקה שתחייב שקיפות, דיווח על תקריות ואימות עצמאי, ותכלול ״כפתור עצירה״ ממשלתי אם מודל יעמיד את הציבור בסכנה קטסטרופלית מיידית.

ומה זה אומר לנו?

עבור קהילת ההיי-טק הישראלית, שחקנית פעילה במחקר AI מתקדם, זו תזכורת בוטה לכך שגם בחזית הטכנולוגיה פועלים שחקנים מרכזיים שחוששים, בדומה לשחקנים המקומיים, מהתוצאה הסופית של עבודתם. הטענות של קוקסון והאישור של הובינגר מדגישים שהשיחה על בטיחות יצאה מכותלי האקדמיה אל חדרי הישיבות של חברות טכנולוגיה, ושהמוניטין של התעשייה כולה עלול להיפגע אם לא יימצא פתרון. בסופו של דבר, כשמתכנת מוביל מאשר שיש סיכוי של יותר מ-10% לאסון קיומי מהמעבדה שלו, זה לא עוד דיווח — זה סיסמוגרף של משבר.