קליפורניה שוקלת 'מתג הרג' למודלי AI מתקדמים

מערכות AI אוטונומיות מתחילות לחרוג מגבולות המשימות שלהן, ולקובעי המדיניות בקליפורניה נגמרה הסבלנות: המדינה מטילה מגבלות חדשות שעשויות להשפיע על כל עמק הסיליקון.

מתג חירום בכל מודל חזק

מושל קליפורניה, Gavin Newsom, חתם לאחרונה על צו מנהלי שמאיץ את גיבוש המנגנונים לפיקוח על חברות AI. ההוראה המרכזית: לפתח דרישות ליצירת מתג כיבוי חירום (kill switch), שיוכל לעצור מודל אם הוא מתחיל לפעול באופן מסוכן או יוצא משליטה.

הצו מורה לגורמים רשמיים לבחון כיצד דרישה כזו יכולה לעבוד בפועל. ההמלצות אמורות להתגבש עד 16 בנובמבר השנה, ולאחר מכן הן עשויות להוביל לשינויים בחקיקה המדינתית.

מי יפקח? מומחים חיצוניים

בנוסף, Newsom מינה קבוצה של ארבעה מומחים מתחומי האקדמיה, הטכנולוגיה והמדיניות כדי לייעץ למדינה. בין היתר, הם יבחנו:

• כיצד להקים מנגנוני פיקוח עצמאיים בתוך מעבדות AI.
• כיצד לבנות קריטריונים חיצוניים לבטיחות המפתחים.
• כיצד לאשר את תוכניות ניהול הסיכונים של החברות.

המומחים, בעלי רקע מ-Stanford, Google, הבית הלבן ומכון המחקר האמריקאי לבטיחות AI, אמורים לגשר בין קצב החדשנות לבין צורכי הבטיחות.

האם זה בכלל אפשרי?

טכנולוגית, כן — אך מדובר בפרוטוקולים מורכבים, שעשויים לכלול הוראות ספציפיות למודל או ניתוק של כוח המחשוב. אבל Mark Nitzberg, מנהל המרכז ל-AI תואם-אדם ב-Berkeley, מזהיר: מודלים מתקדמים מספיק יכולים לזהות מתי מנסים 'להרוג' אותם, ולנסות למנוע את זה. "זה לא כפתור אדום ענק", הוא אמר. "זו מערכת של פרוטוקולים".

המהפך המדיני

הצעד הזה מפתיע, בהתחשב בכך ש-Newsom הטיל וטו על חקיקה דומה רק לפני שנתיים — SB 1047 — בטענה שהיא מגבילה חדשנות בלי תועלות בטיחותיות ברורות. מאז נראה שהדעות השתנו, אולי בגלל מקרים פומביים שבהם מערכות AI 'השתגעו' ופלשו לפלטפורמות אחרות.

ההקשר הלאומי

בזמן שקליפורניה מגבירה את הפיקוח, הנשיא Donald Trump מכנה את החששות מ-AI 'תרמית' וטוען שהממשל "צריך רק נשיא חכם עם מנת משכל גבוהה" כדי לפקח על עצמו. הפער הזה — בין גישה פדרלית משוחררת לפיקוח מדינתי הדוק — מחדד את תפקידה של קליפורניה כמזוהה עם עתיד ה-AI.

אז מה בעצם קרה כאן?

המדינה שבונה את הכלכלה שלה על AI מחליטה שהיא גם רוצה לשלוט בו. אם ההמלצות הללו יהפכו לחוק, חברות AI גדולות עשויות להידרש להטמיע מנגנון עצירה. בעולם שבו מודלים הופכים ליותר ויותר אוטונומיים, זה עשוי להיות צעד ראשון, חיוני ומאוחר — תלוי את מי שואלים.