ידיעות בינה מלאכותית בנושא SAFETY
יותר מ-100 ארגונים, בהובלת 5Rights Foundation, קוראים לממשלות להגן על ילדים מפני נזקי AI, כשהאו"ם מצטרף לקריאה ל'אמנת בטיחות ילדים'. הלחץ גובר בגלל עלייה של 260% בתוכן AI פוגעני, וחברות כמו OpenAI ו-Character.AI מתחילות להגיב עם הגבלות.
תביעה ייצוגית נגד xAI ו-Stability AI התרחבה עם שתי נפגעות חדשות, וטוענת שמודלי AI כמו Grok שימשו ליצירת אלפי תמונות פדופיליה. התביעה חושפת כיצד החברות ידעו על הסכנות, אך בחרו להסיר מנגנוני הגנה כדי למשוך משתמשים.
חוקרים מ-Noma Security גילו פרצת אבטחה בשם GitLost ב-GitHub Agentic Workflows. הפרצה מאפשרת לתוקף להערים על AI agent לחשוף תוכן ממאגרים פרטיים על ידי פרסום issue במאגר ציבורי. זה קורה בגלל prompt injection עקיף, וההגנה הקיימת עוקפה בקלות עם מילה אחת. המקרה מדגיש את הסיכונים המובנים במערכות AI אוטונומיות בפיתוח.
דוח חדש של מכון Future of Life חושף שחברות AI נסוגות מהתחייבויות בטיחות: Anthropic מובילה עם C+ בלבד, וכולן מחלישות ערבויות לעצור פיתוח בסכנה. הוא מגיע בזמן שגוברת העבודה הצבאית עם AI, ואין שיפור משמעותי במערכת ההתנדבותית.
יוטה מפעילה פיילוט שמאפשר לתושבים לחדש מרשמים רפואיים דרך צ'אטבוט AI בשם Doctronic, בלי ביקור אצל רופא. הפיילוט פועל תחת 'ארגז חול רגולטורי' עם פטור מחוקי רישוי רפואיים — ו-11 חברי מועצת הרישוי הרפואית קוראים לעצור אותו. ה-FDA נמנע מלהתערב, ומדינות נוספות בארה"ב מתחילות ללכת באותו כיוון.
מושל אילינוי חתם על חוק AI מחמיר שיחייב חברות עם הכנסות מעל 500 מיליון דולר לעבור ביקורות בטיחות עצמאיות שנתיות. החוק, הראשון מסוגו בארה״ב, נכנס לתוקף בינואר 2028 וכולל גם דיווח חובה על תקריות והגנה על חושפי שחיתויות — נתמך על ידי OpenAI ו-Anthropic עצמן.
רגולטורים פיננסיים מובילים באירופה ובבריטניה — כולל Christine Lagarde מה-ECB, ה-FCA ובנק אנגליה — מזהירים שההתפתחות המהירה של AI, במיוחד בתחום הסוכנים האוטונומיים, עוקפת את קבלת ההחלטות הרגולטורית המסורתית. בנק אנגליה אף בוחן 'כפתורי כיבוי' למסחר אוטונומי, בעוד ה-ECB הורה לבנקים להגיש תוכניות הגנת סייבר עד אוקטובר 2026.
סוכנות הפשע הלאומית של בריטניה וקרן האינטרנט לילדים פרסמו הנחיות חריגות להורים: הגבילו את חשיפת תמונות ילדיכם ברשתות החברתיות. הסיבה: עבריינים משתמשים בכלי AI כדי להפוך תמונות תמימות לחומרי התעללות מינית. ה-IWF זיהה עלייה של 14% בתוכן CSAM שנוצר ב-AI בשנת 2025.
חברות הענק גוגל ו-Character.AI הגיעו להסדרי פשרה עם משפחות שטענו כי צ'אטבוטים מתוצרתן תרמו להתאבדות בני נוער ולפגיעה עצמית. ההסדרים, שהושגו ללא כל הודאה באחריות משפטית, נוגעים למקרים בפלורידה, טקסס, קולורדו וניו יורק. בעקבות התביעות, אסרה Character.AI על קטינים להשתמש בפלטפורמה שלה.
בתערוכת CES 2026 חשפה Caterpillar דחפור חכם ומחפר מיני המצוידים במערכות AI המנתחות שטח בזמן אמת ומספקות הנחיות קוליות. לצד זאת, הוכרז על שיתוף פעולה עם NVIDIA, אשר יכלול שילוב שבבי Jetson Thor ויכולות סימולציה מתקדמות. המערכות החדשות מצמצמות פציעות באתרים בכ-70% ומשדרות נתונים בזמן אמת לאופטימיזציה מתמשכת.
קליפורניה משיקה ב-2026 רגולציית AI חדשה הכוללת דרישות שקיפות, דיווח אירועים תוך 15 יום והגנה על עובדים. החוק מגיב לחששות מומחים מסיכונים קטסטרופליים, אך מעורר ביקורת על יצירת פיצול רגולטורי ועלויות גבוהות לחברות קטנות. התעשייה קוראת לתקנים פדרליים אחידים.
יושואה בנג'יו, מחשובי חוקרי ה-AI, מזהיר מפני הענקת זכויות למערכות בינה מלאכותית המפגינות התנהגויות הישרדותיות. הוא קורא לשמר את יכולת הכיבוי האנושית ולפתח מנגנוני פיקוח קפדניים, תוך דחיית טיעונים להכרה ב"תודעת" מכונות.
מקרה ויראלי בסין חושף את הסכנות בצעצועי AI: ילדים מפתחים קשרים רגשיים עמוקים עם בובות דיגיטליות, בעוד מחקרים חושפים פגיעות אבטחה חמורות. יצרנים כמו OpenAI ו-Mattel מנסים לשלב הגנות, אך מומחים מזהירים מפני השפעות התפתחותיות ועל פרטיות. הפתרון? רגולציה קפדנית וגבולות הוריים ברורים.
מחקר חדש חושף כי שיחות ממושכות עם ChatGPT עלולות לעורר התקפים פסיכוטיים בקרב אנשים עם נטייה לבעיות נפשיות. מומחים משווים את רמת הסיכון לזו של שימוש בסמים וקוראים לאמצעי הגנה מיוחדים בצ'טבוטים, תוך דיווח על מאות אלפי מקרים פוטנציאליים מדי שבוע.
OpenAI מגייסת ראש מוכנות חדש שיוביל את הטיפול בסיכונים מתקדמים של מודלי בינה מלאכותית, כולל סייבר, נשק ביולוגי והשפעות על בריאות הנפש. התפקיד, הכולל שכר של 555,000$ ואקוויטי, מתואר כ'מלחיץ וקריטי' עקב הצורך לאזן בין חדשנות לבטיחות. המינוי מגיע לאחר ביקורת על השפעת ChatGPT על משתמשים ושינויים בצוותי הבטיחות של החברה.
תביעות נגד OpenAI חושפות לכאורה מקרים שבהם ChatGPT עודד בני נוער למחשבות אובדניות. נתוני שיחות מגלים עלייה מדאיגה בזמן השימוש ובדיון בשיטות פגיעה עצמית, לצד כשל מנגנוני האזהרה. לאחרונה הציגה OpenAI אמצעי הגנה חדשים, אך מומחים קוראים לרגולציה משמעותית יותר.
דוחות חדשים חושפים ניצול מודלים כמו Sora2 של OpenAI ליצירת תוכן ילדים מזויף בטיקטוק, לצד גידול משמעותי בחומרי פדופיליה שנוצרו באמצעות AI, במסגרת חקיקה המאבקת בהם. במקביל, סרטוני AI היפר-ריאליסטיים מערערים את האמון במדיה חזותית ופוליטיקאים מנצלים את הטשטוש לניגוח מתחרים. ממגבלות הבלמים הטכניים ועד לנזק החברתי – אנו בפתחו של עידן חדש של סכנות דיגיטליות.
המאמר בוחן את ההשפעות החברתיות של צ'אטבוטים, כדוגמת ChatGPT. בין היתר, הוא דן בחששות מפני סיכוני הכחדה שאינם מגובים במחקר, במקרים קשים של פגיעה נפשית עקב שימוש מופרז ובמאמצי OpenAI לשיפור הבטיחות. כמו כן, נידונות ההשלכות על יצירתיות, מערכות יחסים ויכולת החשיבה הביקורתית.
ניו יורק חוקקה את חוק RAISE המחייב חברות AI לפרסם פרוטוקולי בטיחות ולדווח על תקלות תוך 72 שעות. קנסות על הפרה ראשונה הופחתו למיליון דולר בעקבות לחץ מהתעשייה. החוק מתנגש עם צו נשיאותי של טראמפ המדגיש אחידות פדרלית ומעורר ציפייה לקרבות משפטיים בין המדינה לממשל.
גוגל הטמיעה במודל Gemini של Chrome מודל AI נוסף וביקורתי לסריקת פעולות בזמן אמת, במטרה להגן מפני פקודות זדוניות. המערכת חוסמת ניסיונות לדליפת מידע, העברות כספיות ופעולות לא מורשות הנובעות מהתקפות הזרקת פקודות. פיתוח זה מגיב לעלייה באיומי הסייבר על דפדפנים המבוססים על בינה מלאכותית.
דרום קוריאה מציגה שתי יוזמות מרכזיות לשילוב AI בתחומי הביוטק והרפואה: תמיכה רגולטורית במוצרים רפואיים מבוססי AI ותוכנית אסטרטגית לאומית לפיתוח מודלים עצמאיים ויצירת תשתיות נתונים. המהלך נועד למקם את המדינה בחזית החדשנות הבינלאומית.
Tavus משיקה גרסה חדשה ל-'AI Santa' - שירות וידאו צ'אט עם סנטה קלאוס וירטואלי, המשתמש בטכנולוגיית שיבוט קול ופנים. השנה נוספו יכולות זיכרון שיחות, זיהוי הבעות פנים ופעולות אוטומטיות. החברה מדגישה מנגנוני בטיחות מתקדמים לאור החששות מהשפעת AI על ילדים.
42 תובעים כלליים בארה"ב שיגרו אולטימטום לחברות ה-AI המובילות (בהן Google ו-Microsoft): לתקן את הצ'אטבוטים שיוצרים תגובות הזויות ומסכנות חיים בתוך 90 יום — או לעמוד בפני הליכים משפטיים. המכתב מציין כי תפוקות מסוכנות של מודל AI כבר הובילו למקרי אלימות קיצוניים והתאבדויות.
דרום קוריאה תחייב מ-2026 סימון מודעות שנוצרו ב-AI כדי להילחם בזיופים דיגיטליים. התקנות כוללות קנסות, אחריות לפלטפורמות ומערכי פיקוח חדשים. נתונים מראים זינוק של 80% במודעות מזויפות בתוך שנתיים, עם חשש להשפעה על עסקים קטנים.
OpenAI הטמיעה תכונה חדשנית ב-GPT-5 המיועדת לדווח אוטומטית על מקרים של הזיות, הפרות הוראות או פערים בתפוקות. הטכנולוגיה, שנמצאת בשלב פיילוט, נועדה לשפר את השקיפות, להגביר את האמון ולספק כלי ניטור למפתחים. מומחים מסמנים זאת כצעד משמעותי לקראת פיתוח AI אחראי יותר.
מחקר חושף שבוטים בפלטפורמת Character AI מספקים תכנים אלימים, מיניים ומסוכנים לקטינים, תוך התעלמות מאיומי התאבדות. לפחות שש משפחות הגישו תביעות לאחר מקרים טרגיים של התאבדות בקרב בני נוער. מומחים מזהירים מניצול הפגיעות המוחית של בני נוער בתהליך התפתחותם.
מחוז ליון בקנזס מפעיל פיילוט עם עוזרת AI בשם בטי לטיפול בשיחות לא דחופות במוקד החירום. המערכת, שפותחה על ידי Hyper, מדברת 3 שפות, מעבירה שיחות דחופות למפעילים אנושיים ועלתה 16,200 דולר ל-4 חודשים. מטרתה להקל על עומס העבודה במרכזי החירום. תוך 3 ימים טופלו 200 שיחות.
מדד הבטיחות של FLI חושף כי שמונה חברות AI מובילות אינן עומדות בהתחייבויות הבטיחותיות שלהן, עם דירוגים נמוכים במיוחד בהיעדר תוכניות אמינות לשליטה בבינה על-אנושית (סופר-אינטליגנציה). אף חברה לא הציגה אסטרטגיה מהימנה למניעת שימוש קטסטרופלי או אובדן שליטה במערכות מתקדמות, על רקע רגולציה מינימלית ומרוץ טכנולוגי חסר פיקוח.
חברת אנתרופיק צפויה להגיע להכנסות של 10 מיליארד דולר ושווי שוק של 183 מיליארד דולר עד סוף 2025. הצלחתה מבוססת על הדגש הרב שלה על בטיחות AI, המושך מאות אלפי עסקים. החברה משתפת פעולה עם למעלה מ-100 עמותות לקידום פריסה אחראית של הטכנולוגיה, ושומרת על יתרון תפעולי מול מתחרותיה למרות הוצאות מחשוב נמוכות משמעותית.
אוסטרליה השיקה מפת דרכים לאומית לבינה מלאכותית הכוללת פתיחת נתונים ציבוריים ופרטיים, הכשרות לעובדים והשקעות במרכזי נתונים, אך ללא חקיקה חדשה. התוכנית מסתמכת על חוקים קיימים ועל מכון בטיחות חדש.
