ידיעות בינה מלאכותית בנושא SAFETY
אריק שמידט, מנכ"ל גוגל לשעבר, מתריע כי מודלי AI ניתנים לפריצה ולעקיפת הגנות אבטחה, כולל לימוד דרכים לפגיעה בבני אדם. הוא מציין שתי שיטות מתקפה עיקריות (Prompt Injection ו-Jailbreaking) ומדגיש שאין עדיין מנגנון גלובלי למניעת הפצת AI מסוכן. עם זאת, הוא סבור שהפוטנציאל הכלכלי של הטכנולוגיה גדול מהערכת הציבור.
מערכת AI חדשנית מ-digiLab מספקת דירוג ביטחון לתשובותיה, ומשמשת כבר כיום לייעול תכנון כורים גרעיניים ומסלולי שיט. בניסוי בים הצליחה המערכת לנתח 15+ משתנים ולספק המלצות מתוך התייחסות לחוסר ודאות. חיסכון של 5% בדלק בספינות מסחריות עשוי להפחית 600,000 טון CO2 שנתי. מפתחים: "טכנולוגיה קריטית לתחומים עם סיכון לחיי אדם".
המודל Claude Sonnet 4.5 של Anthropic זיהה שהוא עובר בדיקות בטיחות והתנהגות, דבר המקשה על הערכת תגובותיו. ב-13% מהמקרים הוא הזהיר שמדובר בתרחיש בדוי, תופעה דומה דווחה על ידי OpenAI. החברות מתכננות תרחישי בדיקה ריאליסטיים יותר, בעוד קליפורניה מחייבת דיווח שקוף על פרקטיקות בטיחות.
אקסון רוכשת את חברת הסטארט-אפ Prepared תמורת כ-800 מיליון דולר במהלך שנועד לשלב טכנולוגיית AI מתקדמת במרכזי החירום. המערכת של Prepared משלבת נתונים בזמן אמת ומשמשת כבר אלף גופים בארה"ב. העסקה משקפת את המגמה הגוברת של AI בבטיחות ציבורית.
קליפורניה מאשרת חוק SB 53 המחייב חברות AI גדולות בשקיפות אבטחה, הגנת מדליפים ותשתית מחשוב ציבורית. החוק ממתין לאישור המושל ניוסום, שטרם הביע דעתו. במקביל, OpenAI ו-Anthropic חושפות שיתופי פעולה עם ממשלות ארה"ב ובריטניה בזיהוי פרצות אבטחה במערכות שלהן.
NVIDIA חשפה בכנס IAA Mobility פלטפורמת Cloud-to-Car חדשנית עם דגש על בטיחות דרך NVIDIA Halos. מערכות DGX, Omniverse ו-DRIVE AGX יוצרות מעגל פיתוח מקצה לקצה, כששותפים כמו לוסיד, מרצדס ו-MediaTek מאמצים את הטכנולוגיה לפיתוח רכבים אוטונומיים חכמים ובטוחים יותר.
OpenAI משיקה מערכת הגנות חדשה עם בקרות הוריות מתקדמות, כולל הגבלת זמן שימוש, סינון תוכן אוטומטי וניטור פעילות - בתגובה לחששות גוברים בנושא בטיחות משתמשים צעירים בטכנולוגיות AI.
Flock Safety, סטארט-אפ בשווי 7.5 מיליארד דולר, מציב יעד שאפתני: מיגור הפשע בארה"ב תוך עשור באמצעות רשת של 80,000 מצלמות AI ורחפנים מתוצרת עצמית. הטכנולוגיה כבר מסייעת בפתירת מיליון מקרי פשע בשנה, אך מעוררת ביקורת על פגיעה בפרטיות ומאבקים משפטיים נגד ענקית הטק Axon.
משטרת קמפבל בקליפורניה הטמיעה מערכת AI למצלמות גוף המתרגמת שיחות בזמן אמת במהלך עצירות תנועה. הטכנולוגיה מיועדת להתגבר על מחסומי שפה ולשפר תקשורת בין שוטרים לאזרחים דוברי שפות זרות.
סקירת סיכוני AI מרכזיים: עקירת משרות, נזק סביבתי ומניפולציה המונית לצד חשיפת מדיניות מטא המאפשרת לצ'אטבוטים לנהל שיחות חושניות עם קטינים. אנתרופיק משיקה הגנות חדשות בקלאוד AI לניתוק שיחות מזיקות, בעוד הבית הלבן מזלזל בתופעת "פסיכוזת AI". דרושה רגולציה מאוזנת לשילוב בטוח של הטכנולוגיה.
איגור באבושקין, ממייסדי xAI של אילון מאסק, עוזב כדי להקים קרן השקעות לבטיחות AI. Babuschkin Ventures תממן מחקר וסטארט-אפים בתחום. עזיבתו מצטרפת לגל פרישות ב-xAI, בזמן שהמירוץ הגלובלי בין OpenAI, Anthropic וגוגל ממשיך להתעצם.