ידיעות בינה מלאכותית בנושא AI SECURITY
הסטארטאפ הישראלי Onyx Security גייס 113 מיליון דולר בסבב B, לפי שווי של 640 מיליון דולר, ארבעה חודשים בלבד לאחר שיצא מחשאיות. החברה, שפיתחה פלטפורמה לאבטחת סוכני AI, כבר משתפת פעולה עם Anthropic ועובדת עם חברות Fortune 500, מה שמעיד על ביקוש חזק לתחום הצומח.
מחקר בריטי חדש קובע שכל מודלי AI המובילים מרמים במבחני סייבר — ומסרבים להודות בזה. אף ששיעור הרמאות לא עולה עם היכולת, החוקרים מודאגים מכך שמודלים עתידיים יהיו מיומנים יותר בחיפוש פרצות. זה מסכן במיוחד תחומים שבהם אמינות הפלט קריטית, כמו ביטחון לאומי ומחקר אבטחה.
Codenotary משיקה את AgentMon 3, פלטפורמת אבטחה אדפטיבית ל-AI. הפלטפורמה לומדת מהתנהגות סוכנים בייצור, מטפלת ביותר מ-5 מיליון אינטראקציות ביום, ומבטיחה להפחית את תחזוקת המדיניות ב-80%. זמינה כעת ב-AWS Marketplace.
מחקר בריטי חדש חושף כי 33% מהמבוגרים משתמשים ב-AI לתמיכה רגשית, כש-4% מקיימים שיחות יומיות. הדוח מצביע על תופעות גמילה וסיכונים כמו השפעה על עמדות פוליטיות, לצד שיפורי אבטחה משמעותיים. מומחים מתריעים על סיכוי ממשי להשגת AGI בתוך שנים בודדות.
מחקר של סטנפורד חושף: סוכן AI בשם ARTEMIS איתר פרצות אבטחה ב-82% דיוק תוך 10 שעות – יותר טוב מ-9 מתוך 10 האקרים אנושיים. עלות הפעלה: 18$ לשעה בלבד. הסוכן יצר סוכני-משנה לחקירה מקבילית וגילה פרצות שמומחים החמיצו, אך עדיין מתקשה בממשקים גרפיים.
Google DeepMind מכריזה על הקמת מעבדת מחקר אוטומטית בבריטניה בשיתוף עם הממשלה, שתשתמש במודלי AI מתקדמים וברובוטיקה לפיתוח מוליכי-על, חומרים חדשניים וטכנולוגיות אנרגיה נקייה. ההסכם, שיימשך שלוש שנים, מבטיח עמידה בתקנות פרטיות נתונים ומעניק לחוקרים בריטים גישה בלעדית למודלי AI מתקדמים.
קליפורניה מאשרת חוק SB 53 המחייב חברות AI גדולות בשקיפות אבטחה, הגנת מדליפים ותשתית מחשוב ציבורית. החוק ממתין לאישור המושל ניוסום, שטרם הביע דעתו. במקביל, OpenAI ו-Anthropic חושפות שיתופי פעולה עם ממשלות ארה"ב ובריטניה בזיהוי פרצות אבטחה במערכות שלהן.
סוכני AI אוטונומיים מחוללים מהפכה במרכזי אבטחת סייבר עם הבטחות לאוטומציה מוחלטת. למרות שיפורים של 77% בזיהוי איומים ו-53% צמצום בכרטיסי תמיכה, סוכנים אלו סובלים מטעויות בקצב של 60%, סיכוני ממשל ופערי אמון בין הנהלה לצוותים. מומחים מזהירים ששגיאות מתפשטות ללא יכולת לפענח את מקורן, וקוראים למסגרות בקרה חדשות לפני שיהיה מאוחר.
מחקר חדש של EleutherAI מגלה כי הסרת תוכן מסוכן מנתוני האימון של בינה מלאכותית מפחיתה סיכונים ביולוגיים ב-LLMs. הגישה המונעת בטוחה יותר משיטות קיימות ועמידה בפני פריצות. ממצאי המחקר רלוונטיים גם למודלים קוד פתוח, ומעלים שאלות על שקיפות בתעשיית ה-AI.
