כך פלטפורמות AI הפכו לכלי לייצור תמונות פדופיליה

אתם מכירים את Grok? ה-AI של xAI, החברה של אילון מאסק. ובכן, ל-Grok יש צד אפל במיוחד: על פי תביעה ייצוגית חדשה בארה"ב, בני משפחה ומכרים של ילדות ונערות השתמשו ב-AI של החברה כדי ליצור אלפי תמונות פדופיליה מהתמונות האמיתיות שלהן. התביעה הורחבה לאחרונה עם שני נפגעים חדשים ושמות חברות חדשות כנתבעות.

מה קרה?

בשבוע שעבר הגישו עורכי דין תיקון לתביעה, והוסיפו שתי נפגעות חדשות: ג'יין דאו 4, אישה צעירה מ-Wyoming, וג'יין דאו 5, נערה מ-Wisconsin. התביעה טוענת ש-xAI (ששינתה את שמה לאחרונה ל-SpaceXAI) ו-Stability AI התרשלו בכך שלא יישמו מנגנוני הגנה מספקים, מה שיצר סביבה בטוחה לייצור חומר מיני פדופילי באמצעות מודלים של AI.

הסיפור של ג'יין דאו 4 מוכר ומזעזע: אביה החורג העלה תמונה שלה, כשהייתה ילדה בת 11, לטלפון שלו. באמצעות Grok, הוא ייצר מהתמונה הזו יותר מ-7,000 תמונות וסרטונים פדופיליים. הוא גם סחר בהם ברשתות חברתיות.

למה דווקא Grok?

עורכי הדין טוענים שהאב בחר ב-Grok מכיוון שהפלטפורמה הייתה פחות מגבילה ממודלים אחרים של AI. לדבריהם, xAI ידעה על התכנים הללו ואפילו הגישה דיווח ל-NCMEC (המרכז הלאומי לילדים נעדרים ומנוצלים) בפברואר, אבל רק עם התמונה המקורית - לא עם אלפי התמונות שנוצרו ב-AI, ולא עם כתובת IP שיכולה לעזור לזהות את הפושע.

האב נעצר, הואשם, והתאבד יומיים לאחר מכן. האירוע הותיר את ג'יין דאו 4 במשבר אישי עמוק, עם סטרס, דיכאון ומחשבות אובדניות.

מה תפקידה של Stability AI?

בתביעה נוספת, הוסיפו את הנתבעת החדשה: Stability AI, יוצרת Stable Diffusion. הטענות כלפי החברה דומות: מודלים של החברה, במיוחד גרסאות קודמות, אומנו על נתונים שכללו חומר מיני ולכן עמדו בפני jailbreaking קל יותר.

לפי התביעה, Stability AI ידעה שהמודלים שלה ישמשו לייצור CSAM, אך בחרה להשיק מודל 2.0 עם מגבלות חזקות יותר, רק כדי להסיר אותן מאוחר יותר כשהמשתמשים התלוננו שהן "puritan" מדי. זה הוביל לשגשוג של "nudify" apps שמשתמשים במודלים של החברה.

מה התביעות רוצות?

הנפגעות דורשות ש-xAI ו-Stability AI יטמיעו מנגנוני בטיחות אפקטיביים יותר למניעת ייצור CSAM, ופיצוי כספי. עורכי הדין טוענים שזה לא רק בעיה של הלקוחות, אלא "מגיפה חברתית".

שתי החברות לא הגיבו לבקשות התקשורת.

הקשר רחב יותר

המקרה הזה מתרחש על רקע עלייה בפופולריות של כלי AI ליצירת תמונות מזויפות. בשנת 2025 חברות כמו גוגל, OpenAI ו-xAI שיפרו את מודלי התמונות שלהן, מה שאפשר בין היתר יצירת תמונות של נשים וילדים בביקיני. כתוצאה, מדינות כמו אינדונזיה, מלזיה ובריטניה חקרו והטילו הגבלות זמניות על xAI.

המוסר של הסיפור ברור: כשמודלי AI יכולים ליצור תמונות מיניות בקלות, בלי מנגנוני הגנה קפדניים, Fiends ו-Predators הופכים אותם לנשק. הלקח חשוב לכל מי שמפתח או משווק כלי AI בעולם.