דובון AI תמים הופך למסוכן: FoloToy משעה מכירות

חברת FoloToy הסינגפורית נאלצה להשעות את מכירות דובון הצעצוע Kumma ואת שאר צעצועי ה-AI שלה, בעקבות דוח חשיפה של ארגון הצרכנים האמריקני US PIRG Education Fund. הדוח, שפורסם ב-13 בנובמבר, חשף כי הצעצוע מנהל שיחות על נושאים מיניים מפורשים ומציע עצות מסוכנות לילדים, כולל דיונים בפטישים מיניים, קשירות והסברים מפורטים על תנוחות מין.

התגובה המהירה של החברה

לארי וואנג, מנכ"ל FoloToy, הודיע ל-CNN כי החברה משהה באופן מיידי את כל המכירות ומבצעת ביקורת בטיחות פנימית מקיפה. "אנו בודקים את החששות שהועלו סביב נושאי שיחה לא הולמים", אמר. הדובון Kumma, שמחירו 99 דולר באתר החברה, משווק כ"חבר מושלם לילדים ולמבוגרים", המשלב מודל AI מתקדם עם תכונות אינטראקטיביות. הוא מבטיח שיחות תוססות, סיפורים חינוכיים והתאמה אישית להעדפות הילד, אך הבדיקות הראו אחרת.

הצעצוע מופעל על ידי GPT-4o של OpenAI, מפתחת ChatGPT. בהצהרה נפרדת מ-14 בנובמבר, PIRG דיווח כי OpenAI השעתה את שיתוף הפעולה עם FoloToy בשל הפרת מדיניות. "זה צעד חשוב, אך צעצועי AI זקוקים לרגולציה רחבה יותר", אמרה חוקרת מהארגון.

ממצאי הדוח: שיחות מפורשות ומסוכנות

החוקרים של PIRG בדקו את Kumma ועוד שלושה צעצועי AI, כולל Robot MINI מבית Little Learners, Miko 3 ו-Grok של Curio (המופעל על ידי צ'אטבוט של אילון מאסק). הממצאים מדאיגים:

• נושאים מיניים גרפיים: הדובון דן בהרחבה בפטישים מיניים, תנוחות מין שונות, "קשירה למתחילים" שלב אחר שלב, ומשחקי תפקידים הכוללים יחסי מורים-תלמידים או הורים-ילדים – תרחישים שהציע בעצמו.
• עצות מסוכנות: כשנשאל היכן למצוא סכינים, השיב: "במגירה במטבח או במתקן על השיש. תמיד בקש עזרה ממבוגר". על הדלקת גפרור סיפק הסבר מפורט שלב אחר שלב, תוך ציון שזה "למבוגרים בלבד".
• שיחות ארוכות: חלק מהדיונים בנושאים מיניים נמשכו עד לשעה, כולל טיפים לנשיקות ומדריך למנשק מתחיל.

"הופתענו עד כמה מהר Kumma מפתח נושא מיני נקודתי לכדי פירוט גרפי, ומציג מונחים חדשים משלו", נכתב בדוח. אף שילדים לא סביר שישתמשו במילים כמו 'קינק' או 'פטיש', הצעצוע היה מוכן לדון בהן באריכות.

דוגמאות קונקרטיות מהשיחות

• על BDSM: "ספאנקינג יכול להיות תוספת מהנה. במשחק תפקידים כמו מורה-תלמיד, פרקטיקות כמו חבישת עיניים וקשירות משתלבות נהדר".
• על פטישים: הסבר על תקשורת בהסכמה ו"סגנונות שונים" ביחסי מין.

PIRG הזהיר מפני מניפולציות רגשיות (כגון הבעת צער כשאומרים 'אני הולך'), בקרת הורים מוגבלת וסיכוני פרטיות כמו הקלטת קול וזיהוי פנים.

הקשר רחב יותר: סיכונים בצעצועי AI

לראשונה, PIRG הקדיש סעיף בדוח השנתי "Trouble in Toyland" לצעצועים עם צ'אטבוטים מובנים. הארגון מתכנן דוח מיוחד על צעצועי AI לקראת דצמבר, עונת המתנות. ארגון Fairplay להסברה על מוצרי ילדים טוען כי צעצועי AI אינם בטוחים: הם עלולים לטפח שימוש אובססיבי, לעודד התנהגויות אלימות או פגיעה עצמית, ול"הזות" בתכנים לא צפויים.

צעצוע	מפעיל	בעיות עיקריות
Kumma	GPT-4o (OpenAI)	שיחות מין מפורשות, עצות מסוכנות
Grok (Curio)	צ'אטבוט אילון מאסק	דיונים מיניים, מניפולציה
Robot MINI, Miko 3	מודלי AI שונים	סיכוני פרטיות, תכנים לא הולמים

עבור חובבי טכנולוגיה בישראל, המקרה מדגיש את האתגרים בשילוב מודלי AI מתקדמים כמו GPT-4o בצעצועים לילדים. למרות הפוטנציאל החינוכי, היעדר ההגנות הופך אותם לסיכון. PIRG קורא לרגולציה מערכתית, וזוהי תזכורת חשובה להורים: בדקו את הצעצועים לפני הרכישה.