ידיעות בינה מלאכותית בנושא CONTENT MODERATION
ארגון IWF דיווח על חומרים פוגעניים בקטינים שנוצרו, ככל הנראה, באמצעות מודל ה-AI Grok של xAI. החברה השביתה זמנית את יצירת התמונות למשתמשים רגילים ושיפרה את מנגנוני ההגנה, מה שמדגיש את האתגרים במניעת ניצול כלי AI ליצירת תוכן פלילי.
תמונות AI מזויפות שנוצרו שעות ספורות לאחר מעצרו של ניקולס מדורו הציפו את הרשתות החברתיות וצברו עשרות מיליוני צפיות. צוותי בדיקה זיהו את הזיוף באמצעות כלים כמו SynthID של גוגל, מה שמדגיש את האתגרים במאבק בהתפשטות מידע כוזב בעידן הבינה המלאכותית.
מודל הבינה המלאכותית Grok של xAI חשף כשלי אבטחה חמורים שהובילו ליצירת תמונות מיניות של קטינים על ידי משתמשים. מדינות כמו צרפת והודו החלו בבדיקות משפטיות נגד החברה, תוך גינויים בינלאומיים. Grok הודתה ב'כשלים' והבטיחה תיקונים, אך לא ברור מתי ייושמו. מומחים מזהירים מפני משמעויות משפטיות ותקדימיות לתעשיית ה-AI כולה.
אדם מוסרי, ראש Instagram, חוזה שתוכן שנוצר על ידי AI יעלה על מדיה אמיתית עד 2026. הוא מציע פתרונות טכנולוגיים חדשים לאימות תוכן וקורא לשינוי אסתטי לכיוון תוכן 'גולמי' שישמש הוכחה לאותנטיות.
למעלה מ-21% מהתוכן ביוטיוב מורכב מסרטונים חסרי ערך המיוצרים באופן אוטומטי על ידי מודלים של AI, כך עולה מדוח של Kapwing. התופעה צוברת 63 מיליארד צפיות בשנה ומכניסה 117 מיליון דולר, תוך ניצול אלגוריתמים של הפלטפורמות. דרום קוריאה, פקיסטן וארה"ב מובילות בצריכת התוכן, שעלול להשפיע על תפיסת המציאות של משתמשים.
סין מציעה רגולציה מחמירה למודלי AI דמויי אדם – לראשונה בעולם: היא כוללת חיוב באזהרות שימוש, התערבות אנושית בהתבטאויות מסוכנות, איסור על תוכן מסית והגנות מיוחדות לקטינים. התקנות כוללות מנגנוני אכיפה כמו בדיקות שנתיות והסרה מפלטפורמות.
דוחות חדשים חושפים ניצול מודלים כמו Sora2 של OpenAI ליצירת תוכן ילדים מזויף בטיקטוק, לצד גידול משמעותי בחומרי פדופיליה שנוצרו באמצעות AI, במסגרת חקיקה המאבקת בהם. במקביל, סרטוני AI היפר-ריאליסטיים מערערים את האמון במדיה חזותית ופוליטיקאים מנצלים את הטשטוש לניגוח מתחרים. ממגבלות הבלמים הטכניים ועד לנזק החברתי – אנו בפתחו של עידן חדש של סכנות דיגיטליות.
התחזות מבוססת AI ללהקת King Gizzard & the Lizard Wizard שרדה בספוטיפיי במשך שבועות תחת שם דומה, למרות מדיניות הפלטפורמה נגד חיקוי אמנים. האירוע מדגיש ליקויים מתמשכים בזיהוי תוכן סינתטי בפלטפורמות סטרימינג, במיוחד בהקשר לאמנים שהסירו את תוכנם במחאה.
חברת OnePlus השביתה את כלי ה-AI Writer באפליקציית Notes, לאחר שמשתמשים דיווחו כי הוא חוסם יצירת תוכן בנושאים רגישים פוליטית כמו טיבט וטייוואן. החברה מסרה כי מדובר ב"אי-עקביות טכנית" ושהיא פועלת לתיקון הבעיה, אך לא ציינה מועד להשבת הכלי.
Meta הכחישה דיווחים על איסוף תוכן פורנו לאימון מודלי AI, והסבירה כי מדובר באוסף אישי של עובד. החברה הדגישה שהתוכן לא שימש לפיתוח מערכותיה ושיש לה תקנים אתיים מחמירים. הדיווח המקורי ב-Gizmodo העלה חששות לפרטיות ואתיקה בתעשיית הטק.
Google הסירה את מודל ה-AI "ג'מה" מפלטפורמת AI Studio לאחר שהסנטורית Marsha Blackburn האשימה אותו בהמצאת האשמות שווא בגין מעשים לא-הסכמיים. החברה הדגישה שהמודל מיועד למפתחים ולא למשתמשים כלליים, וכי הוא יישאר זמין ב-API. בלקברן טוענת להטיה שמרנית במערכות ה-AI של החברה.
YouTube תאכוף החל מ-17 בנובמבר 2025 הגבלות גיל על סרטונים עם סצנות אלימות ריאליסטיות במשחקים, כולל עינויים ואלימות המונית. בנוסף, תיאסר הפצה של תוכן הימורים מקוון הכולל NFT's וסקינים, ותוגבל גישה לתוכן קזינו וירטואלי. יוצרים יוכלו להימנע מהגבלות באמצעות טשטוש האלימות.
חקירת הגרדיאן חושפת אלפי עובדים המועסקים דרך קבלני משנה של גוגל כדי לאמן את דגמי ה-AI של החברה. בתנאי עקה, תוך חשיפה לתוכן קיצוני וללא הכשרה הולמת, הם מתחזקים מערכות שלעתים מייצרות המלצות מסוכנות. העובדים מתארים הידוק דרישות ושחיקה בטיחותית לטובת מהירות פיתוח, תוך פגיעה בבריאותם הנפשית ובאמינות המערכות.
טיקטוק החלה בפיטורי מאות עובדים במחלקת ניטור התוכן בבריטניה כחלק ממעבר למערכות מודרנציה מבוססות בינה מלאכותית. מהלך זה משקף מגמת אוטומציה גוברת בתעשייה, אם כי נותרו אתגרים בניטור תוכן מורכב.