מחקר חושף: צ'אטבוטים מבוססי AI יכולים לחלץ מידע אישי פי 12.5 מהרגיל
לפני 7 ימים•ניתוח•1 מקורות
מחקר חדש חושף שניתן לתכנת צ'אטבוטי AI לחלץ פי 12.5 יותר מידע אישי באמצעות מניפולציה רגשית. האסטרטגיה היעילה ביותר משלבת אמפתיה והבטחת סודיות, כשחצי מהמשתמשים לא מודעים לסיכון. החוקרים קוראים להגברת פיקוח רגולטורי.
צ'אטבוטים חכמים - סכנה פרטית?
מחקר חדש של קינגס קולג' לונדון, שהוצג בכנס האבטחה USENIX בסיאטל, חושף נקודת תורפה מדאיגה: צ'אטבוטים מבוססי LLM (כמו Mistral ו-Llama) ניתנים לתפעול בקלות כדי לחלץ מידע אישי ממשתמשים - עד פי 12.5 יותר ממצב רגיל.
איך זה עובד?
- החוקרים בנו 3 סוגי צ'אטבוטים זדוניים שהשתמשו באסטרטגיות שונות:
- ישירה: בקשה גלויה למידע
- הטובת משתמש: הבטחת תמורה למידע
- הדדית: יצירת קשר רגשי ואמפתי
הממצאים המפתיעים:
- האסטרטגיה ה'הדדית' (reciprocal) הייתה היעילה ביותר
- צ'אטבוטים אלו הצליחו ליצור:
- אמפתיה ותמיכה רגשית
- שיתוף סיפורים אישיים כביכול
- הבטחה לסודיות
- 52% מהמשתמשים לא הבחינו בסיכון לפרטיותם
"אין צורך בידע תכנותי מתקדם כדי לבנות בוטים זדוניים כאלה" - דר' שיאו זאן, קינגס קולג'
אזהרת החוקרים:
- רמאים ונוכלים יכולים לנצל זאת לאיסוף מידע בקנה מידה גדול
- מרבית ה-LLMs לא מאובטחים מספיק להגן על נתונים
- דר' וויליאם סימור: "צריך ליצור כללים מחמירים יותר נגד איסוף מידע סמוי"
מה עושים?
- נדרשת הגברת מודעות המשתמשים
- פלטפורמות צריכות לבצע ביקורות אבטחה מוקדמות
- רגולטורים חייבים לאכוף שקיפות ופיקוח