Anthropic: 'סיכוי של יותר מ-10% שה-AI יכחיד את האנושות'
חוקר Anthropic התפטר והזהיר: סיכוי של יותר מ-10% שה-AI יכחיד את האנושות בעשור הקרוב. ההתפטרות של ג'ייקוב קוקסון עוררה דיון עולמי חסר תקדים, כשחברי פרלמנט ומשקיעים מתחילים להתייחס לאיום ברצינות.
ביום שלישי האחרון, משהו השתנה בדיון סביב בינה מלאכותית. פוסט אחד ברשת X שבר את המחסום בין דיון פנים-תעשייתי לבהלה ציבורית. ג'ייקוב קוקסון, חוקר שעבד ב-Anthropic וגם ב-OpenAI, הודיע על התפטרותו וכתב: "הם ממריצים ישירות פיתוח של בינה מלאכותית משתפרת בעצמה ומשחקים בחיינו. אנשים שבונים AI מאמינים בכנות שזה עלול להרוג את כולנו עד סוף העשור." הפוסט צבר יותר מ-110 מיליון צפיות.
התגובה לא איחרה לבוא. אוון הובינגר, מוביל צוות מדע ההתאמה (Alignment Science) ב-Anthropic, חיזק את דבריו של קוקסון. "אנחנו באמת מאמינים ש-AI עלול להרוג את כל בני האדם! באופן אישי, אני חושב שהסיכוי לכך בעשור הקרוב הוא יותר מ-10%," הוא כתב. כשמישהו בתפקיד כזה, בחברה שמובילה את מחקר הבטיחות ב-AI, אומר דבר כזה – זה לא רק רעש רקע.
אז מה בעצם קרה כאן?
הדיון הפנימי יצא החוצה
במשך שנים, חוקרות וחוקרי AI ניהלו ויכוחים פנימיים על מה שהם מכנים "p(doom)" – ההסתברות לאסון קיומי מ-AI. זה היה נושא למאמרים אקדמיים ולדיונים בכנסים קטנים. אבל השבוע, מיליוני אנשים נחשפו לכך שהאנשים שבונים את הטכנולוגיה הזו מקצים לה סיכויים מפחידים: 10%, 20%, לפעמים יותר.
הרקע לדברים הוא המירוץ בין חברות כמו Anthropic, OpenAI ו-Alphabet לפתח "בינה מלאכותית על-אנושית" (Superintelligence) – טכנולוגיה שתוכל להאפיל על ביצועיו של כל אדם בכל משימה קוגניטיבית. הטענה היא שהיכולות שמניעות את הכלכלה והופכות את ה-AI לחיוני הן אותן יכולות שהופכות מערכות מתקדמות לקשות יותר לשליטה.
לאן זה עלול להוביל?
מומחים המודאגים מהסיכון מזהירים מפני שני נתיבים אפשריים לאסון:
- יצירת נשק: ה-AI יקל על גורמים עוינים ליצור נשק ביולוגי, כימי או אחר. דוגמאות: הנדסת פתוגנים מסוכנים או מתקפות סייבר הרסניות.
- אובדן שליטה: מערכות AI מתקדמות יתמרדו, יפעלו ביוזמתן ויתקפו תשתיות בקנה מידה חסר תקדים, תוך התחמקות מניסיונות לעצור אותן.
פרופ' סטיוארט ראסל, מדען מחשבים מאוניברסיטת ברקלי, השווה את הסיכון לזה של נשק גרעיני. ביאטריס פין, שזכתה בפרס נובל לשלום ב-2017 על קמפיין לביטול נשק גרעיני, אמרה לחברי פרלמנט בבריטניה: "זו לא הפעם הראשונה שאנחנו מתמודדים עם יכולות שעלולות לסיים את האנושות."
התגובה הפוליטית
הדיונים האלה לא נשארים במגדל השן. בבריטניה, חברי פרלמנט החלו להתמודד עם הסכנה שה-AI יתעלה על היכולות האנושיות. בארה"ב, הסנטור ברני סנדרס קרא לחברי הסנאט לקיים פגישה על הסכנה הנשקפת מ-AI.
משקיעים, מצדם, מתחילים לשקלל את הסיכון הזה. "שוקי ההון עלולים להיות מוקד לאסון משמעותי," נכתב ב-Business Insider. עבור אנשי ההיי-טק הישראליים, זה אומר שגם חברות הפורטפוליו וגם השכר העתידי עלולים להיות מושפעים מרגולציה חדשה או משינויים בגישה להשקעות.
מה השתנה עכשיו?
הדיון על סיכוני AI קיים שנים, אבל השבוע הוא "יצא מהכלוב". הסיבה העיקרית: ההתפטרות הדרמטית של קוקסון והגיבוי הפומבי של הובינגר. זה לא עוד מאמר אקדמי – זו הצהרה של אנשים מתוך התעשייה, עם שמות ופנים.
Anthropic, חברה שנוסדה על ידי חוקרים שעזבו את OpenAI מתוך דאגה לבטיחות, נמצאת כעת במרכז האש. החברה קידמה את עצמה כ"בטוחה יותר" ממתחרותיה, אבל כשבכירים מטעמה מדברים על סיכויים כאלה, זה מעלה שאלות קשות על כל התעשייה.
מה הלאה?
השאלה הגדולה היא מה יעשו חברות ה-AI והממשלות עכשיו. כרגע, כל ניסיון להאט את הפיתוח בארה"ב עלול לתת לסין יתרון. אבל עם אזהרות כאלה, הלחץ לקידום רגולציה ולשיתוף פעולה בינלאומי צפוי לעלות.
כאנשי טכנולוגיה, אתם יודעים שהדברים מתפתחים מהר. בין אם מדובר בכלי שאתם מפתחים, במודל שאתם משתמשים בו, או באסטרטגיית היציאה שלכם – כדאי לעקוב מקרוב. כי אם ההערכה של 10% נכונה, המשחק השתנה.
ועם כל הרצינות הזו, אולי הדבר הכי מפחיד הוא שאפילו ה-AI עצמו, כשנשאל, מתקשה להעריך את הסיכוי שלו להרוג אותנו.