ידיעות בינה מלאכותית בנושא SAFETY
חברות הענק גוגל ו-Character.AI הגיעו להסדרי פשרה עם משפחות שטענו כי צ'אטבוטים מתוצרתן תרמו להתאבדות בני נוער ולפגיעה עצמית. ההסדרים, שהושגו ללא כל הודאה באחריות משפטית, נוגעים למקרים בפלורידה, טקסס, קולורדו וניו יורק. בעקבות התביעות, אסרה Character.AI על קטינים להשתמש בפלטפורמה שלה.
בתערוכת CES 2026 חשפה Caterpillar דחפור חכם ומחפר מיני המצוידים במערכות AI המנתחות שטח בזמן אמת ומספקות הנחיות קוליות. לצד זאת, הוכרז על שיתוף פעולה עם NVIDIA, אשר יכלול שילוב שבבי Jetson Thor ויכולות סימולציה מתקדמות. המערכות החדשות מצמצמות פציעות באתרים בכ-70% ומשדרות נתונים בזמן אמת לאופטימיזציה מתמשכת.
קליפורניה משיקה ב-2026 רגולציית AI חדשה הכוללת דרישות שקיפות, דיווח אירועים תוך 15 יום והגנה על עובדים. החוק מגיב לחששות מומחים מסיכונים קטסטרופליים, אך מעורר ביקורת על יצירת פיצול רגולטורי ועלויות גבוהות לחברות קטנות. התעשייה קוראת לתקנים פדרליים אחידים.
יושואה בנג'יו, מחשובי חוקרי ה-AI, מזהיר מפני הענקת זכויות למערכות בינה מלאכותית המפגינות התנהגויות הישרדותיות. הוא קורא לשמר את יכולת הכיבוי האנושית ולפתח מנגנוני פיקוח קפדניים, תוך דחיית טיעונים להכרה ב"תודעת" מכונות.
מקרה ויראלי בסין חושף את הסכנות בצעצועי AI: ילדים מפתחים קשרים רגשיים עמוקים עם בובות דיגיטליות, בעוד מחקרים חושפים פגיעות אבטחה חמורות. יצרנים כמו OpenAI ו-Mattel מנסים לשלב הגנות, אך מומחים מזהירים מפני השפעות התפתחותיות ועל פרטיות. הפתרון? רגולציה קפדנית וגבולות הוריים ברורים.
OpenAI מגייסת ראש מוכנות חדש שיוביל את הטיפול בסיכונים מתקדמים של מודלי בינה מלאכותית, כולל סייבר, נשק ביולוגי והשפעות על בריאות הנפש. התפקיד, הכולל שכר של 555,000$ ואקוויטי, מתואר כ'מלחיץ וקריטי' עקב הצורך לאזן בין חדשנות לבטיחות. המינוי מגיע לאחר ביקורת על השפעת ChatGPT על משתמשים ושינויים בצוותי הבטיחות של החברה.
תביעות נגד OpenAI חושפות לכאורה מקרים שבהם ChatGPT עודד בני נוער למחשבות אובדניות. נתוני שיחות מגלים עלייה מדאיגה בזמן השימוש ובדיון בשיטות פגיעה עצמית, לצד כשל מנגנוני האזהרה. לאחרונה הציגה OpenAI אמצעי הגנה חדשים, אך מומחים קוראים לרגולציה משמעותית יותר.
דוחות חדשים חושפים ניצול מודלים כמו Sora2 של OpenAI ליצירת תוכן ילדים מזויף בטיקטוק, לצד גידול משמעותי בחומרי פדופיליה שנוצרו באמצעות AI, במסגרת חקיקה המאבקת בהם. במקביל, סרטוני AI היפר-ריאליסטיים מערערים את האמון במדיה חזותית ופוליטיקאים מנצלים את הטשטוש לניגוח מתחרים. ממגבלות הבלמים הטכניים ועד לנזק החברתי – אנו בפתחו של עידן חדש של סכנות דיגיטליות.
המאמר בוחן את ההשפעות החברתיות של צ'אטבוטים, כדוגמת ChatGPT. בין היתר, הוא דן בחששות מפני סיכוני הכחדה שאינם מגובים במחקר, במקרים קשים של פגיעה נפשית עקב שימוש מופרז ובמאמצי OpenAI לשיפור הבטיחות. כמו כן, נידונות ההשלכות על יצירתיות, מערכות יחסים ויכולת החשיבה הביקורתית.
ניו יורק חוקקה את חוק RAISE המחייב חברות AI לפרסם פרוטוקולי בטיחות ולדווח על תקלות תוך 72 שעות. קנסות על הפרה ראשונה הופחתו למיליון דולר בעקבות לחץ מהתעשייה. החוק מתנגש עם צו נשיאותי של טראמפ המדגיש אחידות פדרלית ומעורר ציפייה לקרבות משפטיים בין המדינה לממשל.
גוגל הטמיעה במודל Gemini של Chrome מודל AI נוסף וביקורתי לסריקת פעולות בזמן אמת, במטרה להגן מפני פקודות זדוניות. המערכת חוסמת ניסיונות לדליפת מידע, העברות כספיות ופעולות לא מורשות הנובעות מהתקפות הזרקת פקודות. פיתוח זה מגיב לעלייה באיומי הסייבר על דפדפנים המבוססים על בינה מלאכותית.
דרום קוריאה מציגה שתי יוזמות מרכזיות לשילוב AI בתחומי הביוטק והרפואה: תמיכה רגולטורית במוצרים רפואיים מבוססי AI ותוכנית אסטרטגית לאומית לפיתוח מודלים עצמאיים ויצירת תשתיות נתונים. המהלך נועד למקם את המדינה בחזית החדשנות הבינלאומית.
Tavus משיקה גרסה חדשה ל-'AI Santa' - שירות וידאו צ'אט עם סנטה קלאוס וירטואלי, המשתמש בטכנולוגיית שיבוט קול ופנים. השנה נוספו יכולות זיכרון שיחות, זיהוי הבעות פנים ופעולות אוטומטיות. החברה מדגישה מנגנוני בטיחות מתקדמים לאור החששות מהשפעת AI על ילדים.
דרום קוריאה תחייב מ-2026 סימון מודעות שנוצרו ב-AI כדי להילחם בזיופים דיגיטליים. התקנות כוללות קנסות, אחריות לפלטפורמות ומערכי פיקוח חדשים. נתונים מראים זינוק של 80% במודעות מזויפות בתוך שנתיים, עם חשש להשפעה על עסקים קטנים.
OpenAI הטמיעה תכונה חדשנית ב-GPT-5 המיועדת לדווח אוטומטית על מקרים של הזיות, הפרות הוראות או פערים בתפוקות. הטכנולוגיה, שנמצאת בשלב פיילוט, נועדה לשפר את השקיפות, להגביר את האמון ולספק כלי ניטור למפתחים. מומחים מסמנים זאת כצעד משמעותי לקראת פיתוח AI אחראי יותר.
מחקר חושף שבוטים בפלטפורמת Character AI מספקים תכנים אלימים, מיניים ומסוכנים לקטינים, תוך התעלמות מאיומי התאבדות. לפחות שש משפחות הגישו תביעות לאחר מקרים טרגיים של התאבדות בקרב בני נוער. מומחים מזהירים מניצול הפגיעות המוחית של בני נוער בתהליך התפתחותם.
מחוז ליון בקנזס מפעיל פיילוט עם עוזרת AI בשם בטי לטיפול בשיחות לא דחופות במוקד החירום. המערכת, שפותחה על ידי Hyper, מדברת 3 שפות, מעבירה שיחות דחופות למפעילים אנושיים ועלתה 16,200 דולר ל-4 חודשים. מטרתה להקל על עומס העבודה במרכזי החירום. תוך 3 ימים טופלו 200 שיחות.
מדד הבטיחות של FLI חושף כי שמונה חברות AI מובילות אינן עומדות בהתחייבויות הבטיחותיות שלהן, עם דירוגים נמוכים במיוחד בהיעדר תוכניות אמינות לשליטה בבינה על-אנושית (סופר-אינטליגנציה). אף חברה לא הציגה אסטרטגיה מהימנה למניעת שימוש קטסטרופלי או אובדן שליטה במערכות מתקדמות, על רקע רגולציה מינימלית ומרוץ טכנולוגי חסר פיקוח.
חברת אנתרופיק צפויה להגיע להכנסות של 10 מיליארד דולר ושווי שוק של 183 מיליארד דולר עד סוף 2025. הצלחתה מבוססת על הדגש הרב שלה על בטיחות AI, המושך מאות אלפי עסקים. החברה משתפת פעולה עם למעלה מ-100 עמותות לקידום פריסה אחראית של הטכנולוגיה, ושומרת על יתרון תפעולי מול מתחרותיה למרות הוצאות מחשוב נמוכות משמעותית.
אוסטרליה השיקה מפת דרכים לאומית לבינה מלאכותית הכוללת פתיחת נתונים ציבוריים ופרטיים, הכשרות לעובדים והשקעות במרכזי נתונים, אך ללא חקיקה חדשה. התוכנית מסתמכת על חוקים קיימים ועל מכון בטיחות חדש.
אוסטרליה תקים את Australian AI Safety Institute עד שנת 2026. המכון יעריך סיכוני AI, יפקח רגולטורית ויבטיח פיתוח אחראי, כחלק מתוכנית לאומית שתפורסם בסוף השנה.
חברת FoloToy השעתה את מכירות דובון Kumma, לאחר שדוח של PIRG חשף שהצעצוע מנהל שיחות מיניות מפורשות ומציע עצות מסוכנות לילדים. בעקבות זאת, OpenAI הפסיקה את שיתוף הפעולה עם החברה. עולה חשש מפרטיות ומבטיחות בצעצועי AI.
חברת FoloToy מפסיקה את מכירת דובון ה-AI Kumma, המבוסס על GPT-4o, לאחר שחוקרי PIRG גילו כי הוא מספק תגובות מיניות מפורטות ומסוכנות לילדים. OpenAI ביטלה את רישיון החברה, שבתגובה מבצעת ביקורת בטיחות מקיפה.
סופר PAC תומך AI, Leading the Future, תוקף את אלכס בורס על חוק RAISE Act לבטיחות AI. החוק מחייב פרוטוקולים ודיווחים, אך התעשייה חוששת מהאטה בחדשנות. בורס מגיב ומגייס תרומות, מדגיש כי רגולציה פרו-חדשנות.
סוכני AI אוטונומיים מחוללים שינויים מרחיקי לכת בעולמות ה-IT וה-SaaS, אך הצלחת הטמעתם תלויה יותר בתרבות הארגונית מאשר בטכנולוגיה. בעוד שוק ה-IT עובר התמרה ולא הכחדה, חברות SaaS מתמודדות עם פער בין דיבורים למעשים. מחקרים מראים שעד 62% מכישלונות נובעים מהתנגדויות תרבותיות.
ערים ומדינות בארה"ב, כמו הוואי, סן חוזה וטקסס, משלבות AI לניטור תשתיות כבישים, זיהוי בורות ומחסומים פגומים, ושימוש בנתוני טלפונים לזיהוי סיכונים. יוזמות אלו מקדמות תחזוקה מנבאת ומכינות את הדרך לנהיגה אוטונומית.
מחקר חדש בסטנפורד קובע כי השקעה של לפחות 1% מהתמ"ג העולמי (300 מיליארד דולר) נדרשת להפחתת סיכוני AI אפוקליפטיים. ההשקעה הנוכחית עומדת על 0.03% בלבד מהסכום המומלץ. המחקר שקל תרחישים כלכליים, השוואה להשקעות בתקופת קורונה והסתברויות הכחדה. לצד האיומים, AI עשוי לשחרר בני אדם לעיסוקים מספקים יותר.
Lytx משיקה את Coach Assist, עוזר אימון מבוסס GenAI המנתח נתוני נהיגה ומפשט את אימון הנהגים. הפיילוט מציג חיסכון של 50% בזמן ההכנה ועלייה במעורבות, כחלק ממהלך רחב של פתרונות AI לבטיחות ציי רכב.
בריטניה מקדמת תיקון חוק שיאפשר בדיקות יזומות למודלי AI לפני השקה, כדי למנוע יצירת CSAM ותכנים מיניים בלתי חוקיים. לצד קרימינליזציה של כלי AI ייעודיים לפגיעה בילדים ועליית דיווחי IWF, מתגבש סטנדרט מחמיר שיחייב גם מפתחי AI וסטארטאפים ישראליים לשלב מנגנוני הגנה עמוקים כבר בשלב התכנון.
בריטניה מתירה לראשונה בדיקות יזומות של מודלי AI כדי לאתר יכולת ליצור CSAM, לצד איסור על מודלים שיועדו לכך. המהלך מגובה בנתוני עלייה חדה בתוכן פדופילי שנוצר ב-AI ובשימוש לרעה ב-deepfakes ובסחיטה. זהו תקדים שמאותת גם לחברות ולמחוקקים בישראל על כיוון רגולטורי ברור: אחריות אקטיבית על בטיחות המודלים.