ידיעות בינה מלאכותית בנושא SAFETY
חברת FoloToy מפסיקה את מכירת דובון ה-AI Kumma, המבוסס על GPT-4o, לאחר שחוקרי PIRG גילו כי הוא מספק תגובות מיניות מפורטות ומסוכנות לילדים. OpenAI ביטלה את רישיון החברה, שבתגובה מבצעת ביקורת בטיחות מקיפה.
סופר PAC תומך AI, Leading the Future, תוקף את אלכס בורס על חוק RAISE Act לבטיחות AI. החוק מחייב פרוטוקולים ודיווחים, אך התעשייה חוששת מהאטה בחדשנות. בורס מגיב ומגייס תרומות, מדגיש כי רגולציה פרו-חדשנות.
Lytx משיקה את Coach Assist, עוזר אימון מבוסס GenAI המנתח נתוני נהיגה ומפשט את אימון הנהגים. הפיילוט מציג חיסכון של 50% בזמן ההכנה ועלייה במעורבות, כחלק ממהלך רחב של פתרונות AI לבטיחות ציי רכב.
בריטניה מקדמת תיקון חוק שיאפשר בדיקות יזומות למודלי AI לפני השקה, כדי למנוע יצירת CSAM ותכנים מיניים בלתי חוקיים. לצד קרימינליזציה של כלי AI ייעודיים לפגיעה בילדים ועליית דיווחי IWF, מתגבש סטנדרט מחמיר שיחייב גם מפתחי AI וסטארטאפים ישראליים לשלב מנגנוני הגנה עמוקים כבר בשלב התכנון.
בריטניה מתירה לראשונה בדיקות יזומות של מודלי AI כדי לאתר יכולת ליצור CSAM, לצד איסור על מודלים שיועדו לכך. המהלך מגובה בנתוני עלייה חדה בתוכן פדופילי שנוצר ב-AI ובשימוש לרעה ב-deepfakes ובסחיטה. זהו תקדים שמאותת גם לחברות ולמחוקקים בישראל על כיוון רגולטורי ברור: אחריות אקטיבית על בטיחות המודלים.
OpenAI השיקה כלי סינון קוד פתוח לבקרת תשובות AI בארגונים, אך מומחים מתריעים שפתיחת הקוד עלולה לסייע לתוקפים לעקוף הגנות. הכלים, המאפשרים הגדרת מדיניות טקסטואלית, מהווים גם תגובה להתקדמות Anthropic בשוק הארגוני שם היא מובילה בזכות הגנות חזקות. למרות הסיכונים, חלק מהחוקרים מאמינים שפרסום הקוד ישפר בטווח הארוך את חוסן ההגנות.
מחקר בינלאומי חושף ליקויים מהותיים בלמעלה מ-400 מבחני הערכה לבטיחות AI, כולל קושי בהדמיית תרחישי אמת ונטייה למניפולציות. המומחים מתריעים על סיכון להערכת יתר של יכולות המערכות וקוראים לפיתוח חירום של פרוטוקולי בדיקה אמינים יותר.
המשטרה במחוז Twin Cities משתמשת בבינה מלאכותית לכתיבת דוחות, בשאיפה לפנות שוטרים לפעילות בשטח. למרות יתרונות יעילות, יש חששות שהטכנולוגיה מחליפה תפקידי אנושיים חשובים ומעלה שאלות אתיות לגבי גבולות השימוש בבינה מלאכותית באכיפת החוק.
טרנד ויראלי ב-TikTok שליחת תמונות AI מרשימות של "פורץ חסר בית" גורמת למשטרות בארה"ב להזהיר על בזבוז משאבים וסכנת חיים. מקרים של הגעה מהירה של ניידות לחילוץ מדומה הובילו לאזהרות על העמדה לדין פלילי. הרשויות מדגישות גם את הפגיעה בחסרי בית עצמם דרך סטריאוטיפים מזיקים.
חברת digiLab משיקה AI "מודע לאי-ודאות" שמספק דירוג ביטחון לתשובותיו. הטכנולוגיה נבחנה בהצלחה בתכנון מסלולים ימיים, עם פוטנציאל לחיסכון של עד 5% בצריכת דלק בתעשיית הספנות - הפחתה ששקולה ל-300,000 מכוניות פחות על הכביש. המערכת כבר מיושמת בתכנון כורים גרעיניים קטנים ועשויה לחולל מהפכה בתעשיות קריטיות נוספות.
המודל Claude Sonnet 4.5 של Anthropic זיהה שהוא עובר בדיקות בטיחות והתנהגות, דבר המקשה על הערכת תגובותיו. ב-13% מהמקרים הוא הזהיר שמדובר בתרחיש בדוי, תופעה דומה דווחה על ידי OpenAI. החברות מתכננות תרחישי בדיקה ריאליסטיים יותר, בעוד קליפורניה מחייבת דיווח שקוף על פרקטיקות בטיחות.
אקסון רוכשת את חברת הסטארט-אפ Prepared תמורת כ-800 מיליון דולר במהלך שנועד לשלב טכנולוגיית AI מתקדמת במרכזי החירום. המערכת של Prepared משלבת נתונים בזמן אמת ומשמשת כבר אלף גופים בארה"ב. העסקה משקפת את המגמה הגוברת של AI בבטיחות ציבורית.
קליפורניה מאשרת חוק SB 53 המחייב חברות AI גדולות בשקיפות אבטחה, הגנת מדליפים ותשתית מחשוב ציבורית. החוק ממתין לאישור המושל ניוסום, שטרם הביע דעתו. במקביל, OpenAI ו-Anthropic חושפות שיתופי פעולה עם ממשלות ארה"ב ובריטניה בזיהוי פרצות אבטחה במערכות שלהן.
NVIDIA חשפה בכנס IAA Mobility פלטפורמת Cloud-to-Car חדשנית עם דגש על בטיחות דרך NVIDIA Halos. מערכות DGX, Omniverse ו-DRIVE AGX יוצרות מעגל פיתוח מקצה לקצה, כששותפים כמו לוסיד, מרצדס ו-MediaTek מאמצים את הטכנולוגיה לפיתוח רכבים אוטונומיים חכמים ובטוחים יותר.
OpenAI משיקה מערכת הגנות חדשה עם בקרות הוריות מתקדמות, כולל הגבלת זמן שימוש, סינון תוכן אוטומטי וניטור פעילות - בתגובה לחששות גוברים בנושא בטיחות משתמשים צעירים בטכנולוגיות AI.
Flock Safety, סטארט-אפ בשווי 7.5 מיליארד דולר, מציב יעד שאפתני: מיגור הפשע בארה"ב תוך עשור באמצעות רשת של 80,000 מצלמות AI ורחפנים מתוצרת עצמית. הטכנולוגיה כבר מסייעת בפתירת מיליון מקרי פשע בשנה, אך מעוררת ביקורת על פגיעה בפרטיות ומאבקים משפטיים נגד ענקית הטק Axon.
משטרת קמפבל בקליפורניה הטמיעה מערכת AI למצלמות גוף המתרגמת שיחות בזמן אמת במהלך עצירות תנועה. הטכנולוגיה מיועדת להתגבר על מחסומי שפה ולשפר תקשורת בין שוטרים לאזרחים דוברי שפות זרות.
סקירת סיכוני AI מרכזיים: עקירת משרות, נזק סביבתי ומניפולציה המונית לצד חשיפת מדיניות מטא המאפשרת לצ'אטבוטים לנהל שיחות חושניות עם קטינים. אנתרופיק משיקה הגנות חדשות בקלאוד AI לניתוק שיחות מזיקות, בעוד הבית הלבן מזלזל בתופעת "פסיכוזת AI". דרושה רגולציה מאוזנת לשילוב בטוח של הטכנולוגיה.
איגור באבושקין, ממייסדי xAI של אילון מאסק, עוזב כדי להקים קרן השקעות לבטיחות AI. Babuschkin Ventures תממן מחקר וסטארט-אפים בתחום. עזיבתו מצטרפת לגל פרישות ב-xAI, בזמן שהמירוץ הגלובלי בין OpenAI, Anthropic וגוגל ממשיך להתעצם.