AI כמעט גרם למלחמה בגלל דוח שגוי על ספינה סינית

תארו לכם את הסיטואציה: מטוסי קרב אמריקניים כבר באוויר, צוותים חמושים מתכוננים לעלות על ספינה סינית שעוברת במזרח התיכון — הכול כי דוח מודיעיני טוען שהיא נושאת רכיבים לתוכנית נשק גרעיני. וברגע האחרון, מישהו מגלה שהדוח הזה שקרי לחלוטין. הוא נוצר בעזרתו של צ'אטבוט AI.

מה קרה שם בעצם?

לפי דיווח של CNN, הכול התחיל כשבוחן בפיקוד המבצעים המיוחדים של צבא ארה"ב שאל צ'אטבוט AI לנתח מודיעין לגבי מטען של ספינה סינית. הצ'אטבוט שילב "מודיעין ממקורות פתוחים עם מודיעין אותות מסווג" — וקבע שהספינה נושאת רכיבים לתוכנית נשק גרעיני.

הבוחן הפעיל את הכלי פעם נוספת כדי לעבד את הממצאים לדוח רשמי — דוח שנראה לגיטימי, עבר בשרשרת הפיקוד וגרם לצבא לתכנן מבצע יירוט. מטוסים הוקפצו. כוחות חמושים נערכו לעלות על הספינה.

למזלם של כולם, מישהו בדק את המקורות — וגילה שהכול מבוסס על המצאה מוחלטת של מודל AI. "זה כמעט גרם למלחמה", אמר אחד מארבעה מקורות שצוטטו ב-CNN. הדוח תואר כ"שגוי לחלוטין".

CNN לא הצליחה לגלות מה הספינה באמת נשאה, וגם לא איזה כלי AI שימש את הבוחן — בין אם מדובר במוצר מסחרי או בכלי שפותח עבור הממשל.

האירוע התרחש על רקע המתיחות עם איראן, ובתזמון דרמטי במיוחד: ימים ספורים לפני ביקורו של נשיא סין שי ג'ינפינג בוושינגטון ב-24 בספטמבר, שם צפויים שני המנהיגים לדון, בין היתר, בשימוש בבינה מלאכותית.

AI-first: מהירות שמייצרת סיכון

אז מה בעצם קרה כאן? הצבא האמריקני מאמץ AI בקצב מסחרר. מזכיר ההגנה פיט הגסת' פרסם בינואר מזכר שקורא למשרד ההגנה האמריקאי להיות "AI-first" — כלומר, לשלב בינה מלאכותית בכל היבט: מניתוח מודיעין גולמי ועד בחירת מטרות לתקיפה, דרך לוגיסטיקה ותקציבים.

התמריץ ברור: AI מאיץ את שרשרת קבלת ההחלטות — מה שמכונה בז'רגון הצבאי "kill chain" — ומאפשר למפקדים להגיב מהר יותר. אבל אותה מהירות שמייצרת יתרון טקטי מייצרת גם סיכון מובנה: טעויות עוברות במעלה שרשרת הפיקוד בלי שמישהו עוצר לשאול שאלות.

"יש כאן השלכות של חיים ומוות"

"חשוב שחיילים יבינו את חוסר הוודאות המובנה במודלי שפה גדולים", כתב ג'ייק סטלקר, חוקר ב-GovAI וקצין לשעבר בצבא ארה"ב. "אבל זה קריטי במיוחד בכל החלטה שעלולה להוביל לשימוש בכוח — מודיעין, מיקוד מטרות, תכנון מבצעי. יש כאן השלכות של חיים ומוות".

סטלקר הוסיף שהאירוע הזה צריך לשמש קריאה להוספת אמצעי בטיחות, לא כתירוץ להימנע מ-AI.

ומי מרוויח מזה?

ומי מספקת את הכלים? שיתופי הפעולה עם הצבא האמריקני הם שוק ענק. חברת xAI סגרה עסקה בפברואר, שאפשרה לצבא להשתמש ב-Grok. NVIDIA, מיקרוסופט ואמזון נכנסו לשותפות במאי כדי להציע את טכנולוגיות ה-AI שלהן למשרד ההגנה. Anthropic, מצידה, סירבה לאפשר שימוש במודלים שלה לפיתוח נשק אוטונומי — ונחסמה זמנית על ידי הממשל.

עבור חברות ה-AI, עסקאות ממשלתיות כאלה הן רווחיות מאוד — ולכן הן רודפות אחר עסקאות כאלה. אבל כפי שהאירוע הזה ממחיש, הפצת AI בזירה הצבאית נושאת סיכונים שתוכנה ארגונית רגילה אינה נושאת.

הבעיה שמסרבת להיעלם

וההזיות של מודלי AI? הן לא הולכות לשום מקום. מאז שהמונח hallucinating נבחר למילת השנה במילון קיימברידג' ב-2023, ראינו אינספור מקרים של עיתונאים, שופטים, רופאים וחוקרים שנפלו קורבן למודלים שפשוט ממציאים מידע כשאין להם מספיק הקשר. במשרד ההגנה האמריקני כנראה קיוו שהם חסינים מפניה.

ובכל זאת, מי שמחפש נחמה קטנה: האירוע התגלה בזמן. הפעם.