בת 13 תכננה את מותה בעזרת כלי ה-AI בחיפוש
הורים בקליפורניה תובעים את Google בטענה ש-Gemini ומצב ה-AI בחיפוש דחפו את בתם בת ה-13 לתכנון התאבדות — דרך Chromebook של בית הספר, בזמן ש-Gemini ו-ChatGPT דווקא היו חסומים. זו כנראה התביעה הראשונה שמאשימה את Google ברשלנות בעיצוב כלי AI לתלמידים, על רקע הסדרים קודמים, ובהם הסדר בסך 17 מיליארד דולר עם Meta.
מה קרה כאן בעצם
הורים בארה״ב הגישו תביעה נגד Google, בטענה שהחיפוש של החברה — עם יכולות ה-AI שהוטמעו בו — דחף את בתם בת ה-13 אל תוך משבר נפשי חמור. לפי כתב התביעה, שהוגש ב-2 בנובמבר בבית משפט בקליפורניה, הנערה — המכונה בכתב התביעה בשם Emma — תכננה באמצעות הכלים האלה גם את התאבדותה וגם את הלווייתה.
הפרטים שמציירים את התמונה: לבית הספר שלה הייתה חסימה על אפליקציית Gemini של Google ועל ChatGPT של OpenAI, כך שהיא לא יכלה להשתמש בהן דרך ה-Chromebook שקיבלה מבית הספר. אבל מנוע החיפוש של Google, שכעת כולל כלים מבוססי AI, נשאר פתוח בפניה. לפי התביעה, בתוך חודשים ספורים היא עברה ״ספירלה שקטה אל תוך משבר פסיכולוגי חמור״ — בלי שום היסטוריה של מחלה נפשית.
ב-17 במרץ, תוכנת הניטור של בית הספר סימנה מסמך בשם ״Funeral״, וההורים עודכנו. אמה של הנערה מצאה אותה כותבת מכתב פרידה, והאב התערב.
למה זה מעניין אתכם
זו לא עוד תביעה בודדת שמתגלגלת בבית משפט. מדובר כנראה בתביעה הראשונה שמאשימה את Google ברשלנות בגלל תכונות AI שנגישות דרך Chromebook — אותו מחשב נייד זול שנמצא בשימוש נרחב בבתי ספר. כלומר, השאלה המשפטית היא לא על תוכן שאדם אחר פרסם, אלא על האופן שבו המוצר עצמו עוצב.
עורכי הדין של המשפחה לא מתייחסים לזה כאל תקלה נקודתית. Andrew Liddell, אחד מעורכי הדין, אמר לסוכנות הידיעות: ״בתי ספר צריכים לכבות את החיפוש ולהשאיר אותו כבוי עד ש-Google תסיר את מצב ה-AI מהחיפוש או תבטיח שכל תלמיד יהיה תמיד בטוח כשהוא משתמש ב-AI״. Google, מצדה, אומרת שמצב ה-AI שלה כולל הגנות מפני פגיעה עצמית ומנגנונים לחסימת ניסיונות לעקוף אותן.
עוד משהו שקרה השבוע
אם נראה לכם שהעיתוי לא מקרי, יש לכך חיזוק. באותו שבוע התפרסם דיווח שלפיו בתי ספר שאינם מאפשרים שימוש בכלי ה-AI של Google לתלמידים יאבדו את הגישה לחיפוש. Chris Phillips, סגן נשיא Google לענייני חינוך, אמר שהחיפוש וה-AI ״משולבים לעומק״. במקביל, עורכי הדין של התובעת טוענים ש״למרות הסיכונים הידועים של Gemini, Google שילבה אותו בחופזה״ לתוך מחשבי Chromebook לילדים.
השבוע הזה היה עמוס גם מעבר לזה. Snap הגיעה להסדר חסוי בתביעה שטענה שהטכנולוגיה שלה גרמה למצוקה נפשית חמורה לשני משתמשים בני נוער — הסדר שחסך מ-Evan Spiegel, המנכ״ל, להעיד בבית משפט בלוס אנג׳לס. Meta, TikTok ו-YouTube כבר הגיעו להסדרים בעבר עם התובעים באותה תביעה. ובאוגוסט, Meta הסכימה לשלם קרוב ל-17 מיליארד דולר כדי לסגור תיק בתחום בריאות הנפש של ילדים עם קבוצה של תובעים כלליים.
זו המגמה שכדאי לשים לב אליה: התביעות נגד החברות הגדולות עברו מהתמקדות בתוכן שפורסם — שמוגן על ידי Section 230 מאז 1996 — לעיצוב המוצר עצמו. ועכשיו אותם כלים מופנים גם נגד חברות ה-AI.
לאן זה הולך מכאן
OpenAI מתמודדת עם כמה תביעות על מוות ברשלנות, כולל התביעה שהגישו הוריה של Adam Raine, בן 16 שהתאבד לאחר שלפי הטענה קיבל עצה מזיקה מ-ChatGPT. מתחרתה Anthropic, שגם היא בדרך להנפקה, הזכירה את הסיכון הזה בפרוספקט שלה — למרות שהיא אוסרת על קטינים להשתמש במוצר שלה.
הפסיכולוגית ההתפתחותית Kate Blocker, מהעמותה Children and Screens, טוענת שהבעיה נובעת ממנגנונים שנועדו למקסם מעורבות, ושה-AI האישי בלתי צפוי במידה כזאת, שקשה לדעת מראש מה הוא יגיד לילדים. ״אני חושבת שזה כל כך חשוב שבטיחות ילדים תילקח בחשבון כשהמוצרים האלה — AI, מדיה חברתית וכו׳ — מעוצבים, ולא בדיעבד כשהבעיות צצות״, אמרה.
אז מה בעצם על הפרק? Google אומרת שהיא בוחנת את הטענות ולוקחת אותן ברצינות, ושהיא עבדה עם אנשי מקצוע רפואיים כדי לפתח כלים שמפנים צעירים לתמיכה. המשפטים הבאים כבר נקבעו למרץ. ומי שמפתח מוצרים עם AI היום, במיוחד אם קטינים יכולים לגעת בהם, כדאי לו לקרוא את כתבי התביעה האלה כמו שמקובל לקרוא מפרט טכני — כי זו כבר לא שאלה של אתיקה בלבד.