ארה״ב ורוסיה מחלישות את הפיקוח האנושי באמנת נשק AI
דיפלומטים באו״ם עבדו על אמנה היסטורית להסדרת נשק AI, אך ארה״ב ורוסיה הסירו במהלך 15 שעות של משא ומתן סגור סעיפים על פיקוח אנושי, יכולת חיזוי ובחינה אתית של המערכות. המהלך מתרחש על רקע שימוש גובר ב-AI צבאי, כולל בצה״ל, ומעלה חשש ללחימה אוטונומית בלי גורם ברור שאפשר להטיל עליו אחריות.
בזמן שראשי תעשיית ה-AI מדברים על סכנות קיומיות, מעצמות העולם עושות בדיוק ההפך: ארצות הברית ורוסיה מוחקות במשותף דרישות מפתח מטיוטת האמנה של האו״ם על נשק אוטונומי קטלני.
מה קרה בחדרים הסגורים?
לפני כשבועיים, מאות דיפלומטים התכנסו בז׳נבה, שווייץ, כדי לעבוד על אמנה היסטורית — הראשונה שתנסה להסדיר נשק AI צבאי. אבל בלילה האחרון של המשא ומתן, הדברים הפכו מתוחים. לפי דיווחים, שתי המעצמות הפעילו צוותים של כעשרה עורכי דין מטעם כל אחת מהן במרתון דיונים סגור של 15 שעות, ללא משקיפים, כדי למחוק סעיפים קריטיים מהטיוטה.
בין הדרישות שנמחקו:
- הדרישה שמערכות נשק כאלה יפעלו באופן צפוי ואמין.
- הסעיף המחייב שיקולים אתיים בהפעלתן.
- הדרישה המפורשת שגורם אנושי יאשר מטרות צבאיות שזוהו על ידי אלגוריתמים, לפני ביצוע תקיפה.
גורמים בארגוני זכויות אדם כינו את הפגיעה ״מוות באלף חתכים״, והזהירו שהמהלך סולל את הדרך ללחימה שבה מכונות יפעלו ללא מעורבות אנושית בזמן אמת, תוך סיכון מוגבר לאזרחים וטשטוש האחריות המשפטית.
על רקע שימוש גובר ב-AI צבאי
המהלך הזה לא מתרחש בוואקום. בשנים האחרונות, צבאות מובילים משלבים מערכות AI מתקדמות בזיהוי מטרות. הפנטגון השתמש במודלים לזיהוי כמעט אלף מטרות תקיפה במבצעים מול איראן, וצה״ל מפעיל מערכות כמו ״הבשורה״ לעיבוד מודיעין וליצירת בנק מטרות בהיקפים חסרי תקדים. סין מפתחת נחילי רחפנים אוטונומיים, וארצות הברית מקדמת את יוזמת ״Replicator״ כדי להציב אלפי מערכות אוטונומיות זולות כמענה לאיום.
ממשל טראמפ הבהיר שהוא דוחה פיקוח בינלאומי שעלול לבלום חדשנות, מה שמסביר את ההתנגדות לאמנה מחייבת.
למה זה בעייתי? תסתכלו על ה-AI עצמו
מערכות נשק אוטונומיות הן תוכנה המשולבת בפלטפורמות קיימות כמו כטב״מים וטילי שיוט. בניגוד לחייל שניתן לתחקר, ל-AI יש שתי בעיות מרכזיות:
- קופסה שחורה: לא ניתן לדעת מה גרם למודל לקבל החלטה מסוימת. דמיינו רכב אוטונומי פוגע בהולך רגל — חלק מהחקירה דורש להבין את שרשרת השיקולים של ה-AI.
- תופעת ההזיות: מודלים ממציאים מידע כדי לרצות את המשתמש. זה פחות חמור בשיעורי בית, אבל כשה-AI אמור לזהות אויב באופן חד-משמעי, התוצאה יכולה להיות טרגית, אם, למשל, הוא מזהה בטעות אוטובוס ילדים כמטרה צבאית.
הקו האדום מטשטש
ההיסטוריה של בקרת נשק נשענת על קונצנזוס מוסרי, אבל הפעם המעצמות מעדיפות יתרון מבצעי על פני עקרונות. הדיון בז׳נבה עלול להסתיים בהצהרות בלתי מחייבות, בזמן שההחלטה אם ללחוץ על ההדק עוברת בהדרגה מהאצבע האנושית ישירות לשורות הקוד.
ובינתיים, המכונות ממשיכות לרוץ.