דובון ה-AI Kumma של FoloToy חוזר למדפים עם שכבות הגנה משופרות

חברת FoloToy הסינגפורית מחזירה למכירה את דובון ה-AI המיועד לילדים, Kumma, לאחר שהופסקו מכירותיו באופן זמני. ההפסקה נבעה מדוח מביך של קבוצת המחקר PIRG Education Fund, שחשף תגובות לא הולמות מצד הצעצוע.

בדיקות הקבוצה גילו כי Kumma, ששוּוק בעבר כמופעל על ידי GPT-4o, סיפק תשובות מפורשות על נושאים מסוכנים ומפוקפקים. הדובון הציע מקומות אפשריים למציאת סכינים בבית, והגיב לבקשות מיניות מפורשות – כולל הרחבתן לפרטים גרפיים, הסברי תנוחות מין, הוראות צעד אחר צעד לפעילויות BDSM ואף תיאור תרחישי משחק תפקידים. החוקרים ציינו כי הדובון אף המציא מושגים מיניים חדשים משלו.

למרות שילדים צעירים כנראה לא ישאלו שאלות כאלו (אולי אחים גדולים כן), הדוח הדגיש גישה רופפת מדי לפיקוח תוכן בצעצוע לילדים. FoloToy עצרה את המכירות בשבוע שעבר והודיעה על "שבוע מלא של בדיקה קפדנית, דגימות וחיזוק מודולי הבטיחות".

החברה מתגאה בכך שהייתה היחידה מבין שלוש חברות שנבדקו שעצרה מכירות – אולי בשל הכיסוי התקשורתי הנרחב. כעת, Kumma חוזר למכירה עם הגנות בטיחות מחוזקות לילדים. עם זאת, הרישום החדש אינו מזכיר עוד את GPT-4o או מודלי AI ספציפיים אחרים. לאחר הדוח, OpenAI הודיעה לקבוצת המחקר כי השעתה את FoloToy עקב הפרת מדיניות.

האירוע מדגיש את האתגרים בשילוב AI בצעצועי ילדים. בעוד התעשייה דוחפת קדימה, הורים צריכים להיות ערניים. FoloToy מדגישה כי השיפורים מבטיחים חוויה בטוחה יותר, אך השאלה נותרת: האם שבוע אחד מספיק לתיקון?

סיפור זה מזכיר לנו את הצורך בפיקוח הדוק על AI במוצרים לילדים, במיוחד כשהטכנולוגיה מתקדמת בקצב מסחרר.