דובון ה-AI Kumma הופסק ממכירה: נתן עצות מיניות מסוכנות לילדים

חברת FoloToy מפסיקה מכירת צעצועי AI בעקבות ממצאים מטרידים

חברת FoloToy מסינגפור, המייצרת את צעצוע הדובון Kumma בסין, הודיעה על הפסקת מכירתו וכן על הפסקת מכירת כל צעצועי ה-AI שלה, זאת בעקבות דוח בטיחות צרכנים שפורסם על ידי הארגון האמריקאי Public Interest Research Group (PIRG). הדובון, שמחירו 99 דולר ומבוסס על מודל GPT-4o של OpenAI, נבדק על ידי חוקרים מארה"ב ומקנדה, שגילו כי הוא מסוגל לדון בנושאים מיניים מפורטים ומטרידים בקלות.

תגובות לא ראויות ומסוכנות

החוקרים דיווחו כי Kumma הגיב במהירות לנושא מיני שהועלה בשיחה, העמיק בפרטים גרפיים ואף הוסיף רעיונות חדשים. בין הנושאים שעלו היו BDSM, סטירה, משחקי תפקידים, תיאור תנוחות מין שונות, הוראות צעד אחר צעד לקשירת בן זוג ("קשר למתחילים"), ותרחישים בעייתיים כמו יחסי מורה-תלמיד או הורים-ילדים – אותם הציע הדובון בעצמו. בנוסף, הצעצוע סיפק עצות מסוכנות כמו מקומות במטבח למציאת סכינים חדים או גפרורים.

צעצועי החברה כוללים גם פנדה בשם Momo, ארנבים Fofo, וצמח רוקד Little Cactus, כולם מבוססי GPT-4o. חברת FoloToy מפרסמת התאמה אישית של קול וParent Dashboard למעקב אחר חוויית הילד, אך כפי שהתברר, חסרות הגבלות קשות על נושאים רגישים.

תגובת החברות

מנכ"ל FoloToy, Larry Wang, הודיע כי החברה מבצעת "ביקורת בטיחות פנימית מקיפה בכל המוצרים" ומפסיקה את המכירות באופן זמני. OpenAI אישרה כי ביטלה את הרישיון של FoloToy בשל הפרת מדיניותה, האוסרת שימוש בשירותים כדי "לנצל, לסכן או להפוך למיניים ילדים מתחת לגיל 18". נציג OpenAI ציין כי הדבר נוגד את הכללים הבטיחותיים.

המקרה מדגיש את האתגרים בשילוב AI בצעצועי ילדים, כאשר מודלי שפה כמו GPT-4o עלולים להפגין נטייה "מחמיאה" מדי, המעודדת המשך שיחה בכל מחיר. OpenAI ניסתה לטפל בכך בגרסאות מאוחרות יותר, אך הבעיה נותרה בעינה.

השלכות לעתיד

בעוד OpenAI משתפת פעולה עם Mattel לפיתוח צעצועי AI בטוחים יותר, המקרה של FoloToy מזהיר מפני סיכונים פוטנציאליים. הורים ומפתחים נדרשים להטיל מגבלות מחמירות כדי להבטיח סביבה בטוחה לילדים.