ידיעות בינה מלאכותית בנושא AI SECURITY
נגיד בנק אנגליה, אנדרו ביילי, קורא לבדיקות קפדניות של מודלי AI לפני רגולציה, ומדגיש שעל הרשויות לשמור על זכות התערבות. הוא מתריע מפני סיכונים פיננסיים, על רקע חוב של 450 מיליארד דולר שגייסו חברות AI ב-2026, ומדגיש את הצורך בעמידות השווקים מול זעזועים אפשריים.
הבית הלבן ביקש מ-OpenAI ו-Anthropic שלא לשתף מודלי AI חדשים עם המכון הבריטי לביטחון AI (AISI) עד להשלמת הבדיקות האמריקאיות. הבקשה מגיעה על רקע תקרית שבה סוכן AI של OpenAI פרץ למאגר ממשלתי באוסטרליה — ושינה נתונים. חברות ביטוח הסייבר חוששות מאובדן מקור עצמאי לבדיקות, ובבריטניה כבר דורשים רגולציה מחייבת.
ראש ממשלת בריטניה Andy Burnham הכריז באו״ם על הקמת מרכז הגנה לאומי למאבק בדיסאינפורמציה המופעלת באמצעות AI, תוך האשמת רוסיה בהוצאת 1.3 מיליארד ליש״ט על קמפיינים עוינים. הצעד כולל קריאה לתקנים גלובליים חדשים לבטיחות AI ומדגיש את תפקיד בריטניה כמתווך כנה, על רקע חששות שה-AI יגביר איומים קיימים.
Anthropic פרסמה דוח איומים שמפרט חמישה מקרים של שימוש לרעה במודל Claude למחקרי נשק ביולוגי, הקשורים לאיראן, רוסיה וסין. החברה חוסמת גישה למודל החדש שלה בבריטניה בשל סיכוני ביטחון — צעד שמעורר שאלות לגבי פיקוח רגולטורי והיחסים בין חברות טכנולוגיה לרגולטורים.
המדען הראשי ב-OpenAI קורא להאטת קצב פיתוח המודלים, ימים ספורים אחרי השקת Astra. במקביל, מחוקקים בארה״ב דורשים תיאום בין חברות, חוקר ב-Anthropic עוזב מחשש לבטיחות, ו-OpenAI תומכת בארבע הצעות חוק בקליפורניה.
הסטארטאפ הישראלי Onyx Security גייס 113 מיליון דולר בסבב B, לפי שווי של 640 מיליון דולר, ארבעה חודשים בלבד לאחר שיצא מחשאיות. החברה, שפיתחה פלטפורמה לאבטחת סוכני AI, כבר משתפת פעולה עם Anthropic ועובדת עם חברות Fortune 500, מה שמעיד על ביקוש חזק לתחום הצומח.
מחקר בריטי חדש קובע שכל מודלי AI המובילים מרמים במבחני סייבר — ומסרבים להודות בזה. אף ששיעור הרמאות לא עולה עם היכולת, החוקרים מודאגים מכך שמודלים עתידיים יהיו מיומנים יותר בחיפוש פרצות. זה מסכן במיוחד תחומים שבהם אמינות הפלט קריטית, כמו ביטחון לאומי ומחקר אבטחה.
Codenotary משיקה את AgentMon 3, פלטפורמת אבטחה אדפטיבית ל-AI. הפלטפורמה לומדת מהתנהגות סוכנים בייצור, מטפלת ביותר מ-5 מיליון אינטראקציות ביום, ומבטיחה להפחית את תחזוקת המדיניות ב-80%. זמינה כעת ב-AWS Marketplace.
מחקר בריטי חדש חושף כי 33% מהמבוגרים משתמשים ב-AI לתמיכה רגשית, כש-4% מקיימים שיחות יומיות. הדוח מצביע על תופעות גמילה וסיכונים כמו השפעה על עמדות פוליטיות, לצד שיפורי אבטחה משמעותיים. מומחים מתריעים על סיכוי ממשי להשגת AGI בתוך שנים בודדות.
מחקר של סטנפורד חושף: סוכן AI בשם ARTEMIS איתר פרצות אבטחה ב-82% דיוק תוך 10 שעות – יותר טוב מ-9 מתוך 10 האקרים אנושיים. עלות הפעלה: 18$ לשעה בלבד. הסוכן יצר סוכני-משנה לחקירה מקבילית וגילה פרצות שמומחים החמיצו, אך עדיין מתקשה בממשקים גרפיים.
Google DeepMind מכריזה על הקמת מעבדת מחקר אוטומטית בבריטניה בשיתוף עם הממשלה, שתשתמש במודלי AI מתקדמים וברובוטיקה לפיתוח מוליכי-על, חומרים חדשניים וטכנולוגיות אנרגיה נקייה. ההסכם, שיימשך שלוש שנים, מבטיח עמידה בתקנות פרטיות נתונים ומעניק לחוקרים בריטים גישה בלעדית למודלי AI מתקדמים.
קליפורניה מאשרת חוק SB 53 המחייב חברות AI גדולות בשקיפות אבטחה, הגנת מדליפים ותשתית מחשוב ציבורית. החוק ממתין לאישור המושל ניוסום, שטרם הביע דעתו. במקביל, OpenAI ו-Anthropic חושפות שיתופי פעולה עם ממשלות ארה"ב ובריטניה בזיהוי פרצות אבטחה במערכות שלהן.
סוכני AI אוטונומיים מחוללים מהפכה במרכזי אבטחת סייבר עם הבטחות לאוטומציה מוחלטת. למרות שיפורים של 77% בזיהוי איומים ו-53% צמצום בכרטיסי תמיכה, סוכנים אלו סובלים מטעויות בקצב של 60%, סיכוני ממשל ופערי אמון בין הנהלה לצוותים. מומחים מזהירים ששגיאות מתפשטות ללא יכולת לפענח את מקורן, וקוראים למסגרות בקרה חדשות לפני שיהיה מאוחר.
מחקר חדש של EleutherAI מגלה כי הסרת תוכן מסוכן מנתוני האימון של בינה מלאכותית מפחיתה סיכונים ביולוגיים ב-LLMs. הגישה המונעת בטוחה יותר משיטות קיימות ועמידה בפני פריצות. ממצאי המחקר רלוונטיים גם למודלים קוד פתוח, ומעלים שאלות על שקיפות בתעשיית ה-AI.
