ידיעות בינה מלאכותית בנושא AI SAFETY
חוקרים מ-Noma Security גילו פרצת אבטחה בשם GitLost ב-GitHub Agentic Workflows. הפרצה מאפשרת לתוקף להערים על AI agent לחשוף תוכן ממאגרים פרטיים על ידי פרסום issue במאגר ציבורי. זה קורה בגלל prompt injection עקיף, וההגנה הקיימת עוקפה בקלות עם מילה אחת. המקרה מדגיש את הסיכונים המובנים במערכות AI אוטונומיות בפיתוח.
יוטה מפעילה פיילוט שמאפשר לתושבים לחדש מרשמים רפואיים דרך צ'אטבוט AI בשם Doctronic, בלי ביקור אצל רופא. הפיילוט פועל תחת 'ארגז חול רגולטורי' עם פטור מחוקי רישוי רפואיים — ו-11 חברי מועצת הרישוי הרפואית קוראים לעצור אותו. ה-FDA נמנע מלהתערב, ומדינות נוספות בארה"ב מתחילות ללכת באותו כיוון.
רגולטורים פיננסיים מובילים באירופה ובבריטניה — כולל Christine Lagarde מה-ECB, ה-FCA ובנק אנגליה — מזהירים שההתפתחות המהירה של AI, במיוחד בתחום הסוכנים האוטונומיים, עוקפת את קבלת ההחלטות הרגולטורית המסורתית. בנק אנגליה אף בוחן 'כפתורי כיבוי' למסחר אוטונומי, בעוד ה-ECB הורה לבנקים להגיש תוכניות הגנת סייבר עד אוקטובר 2026.
OpenAI מגייסת ראש מוכנות חדש שיוביל את הטיפול בסיכונים מתקדמים של מודלי בינה מלאכותית, כולל סייבר, נשק ביולוגי והשפעות על בריאות הנפש. התפקיד, הכולל שכר של 555,000$ ואקוויטי, מתואר כ'מלחיץ וקריטי' עקב הצורך לאזן בין חדשנות לבטיחות. המינוי מגיע לאחר ביקורת על השפעת ChatGPT על משתמשים ושינויים בצוותי הבטיחות של החברה.
גוגל הטמיעה במודל Gemini של Chrome מודל AI נוסף וביקורתי לסריקת פעולות בזמן אמת, במטרה להגן מפני פקודות זדוניות. המערכת חוסמת ניסיונות לדליפת מידע, העברות כספיות ופעולות לא מורשות הנובעות מהתקפות הזרקת פקודות. פיתוח זה מגיב לעלייה באיומי הסייבר על דפדפנים המבוססים על בינה מלאכותית.
מדד הבטיחות של FLI חושף כי שמונה חברות AI מובילות אינן עומדות בהתחייבויות הבטיחותיות שלהן, עם דירוגים נמוכים במיוחד בהיעדר תוכניות אמינות לשליטה בבינה על-אנושית (סופר-אינטליגנציה). אף חברה לא הציגה אסטרטגיה מהימנה למניעת שימוש קטסטרופלי או אובדן שליטה במערכות מתקדמות, על רקע רגולציה מינימלית ומרוץ טכנולוגי חסר פיקוח.
אוסטרליה השיקה מפת דרכים לאומית לבינה מלאכותית הכוללת פתיחת נתונים ציבוריים ופרטיים, הכשרות לעובדים והשקעות במרכזי נתונים, אך ללא חקיקה חדשה. התוכנית מסתמכת על חוקים קיימים ועל מכון בטיחות חדש.
סופר PAC תומך AI, Leading the Future, תוקף את אלכס בורס על חוק RAISE Act לבטיחות AI. החוק מחייב פרוטוקולים ודיווחים, אך התעשייה חוששת מהאטה בחדשנות. בורס מגיב ומגייס תרומות, מדגיש כי רגולציה פרו-חדשנות.
בטקס פרס Queen Elizabeth להנדסה 2025, חשף מנכ"ל Nvidia כי המלך צ'ארלס מסר לו עותק מנאומו בפסגת AI שבו התווה שני מסרים עיקריים: הזדמנות דורית מהטכנולוגיה משנת-החיים לצד קריאה דחופה לבטיחות ורגולציה. הדיאלוג משקף את המתח הגלובלי סביב קצב הפיתוח מול צעדי זהירות.
