מחקר חושף: צ'אטבוטים מבוססי AI יכולים לחלץ מידע אישי פי 12.5 מהרגיל

צ'אטבוטים חכמים - סכנה פרטית?

מחקר חדש של קינגס קולג' לונדון, שהוצג בכנס האבטחה USENIX בסיאטל, חושף נקודת תורפה מדאיגה: צ'אטבוטים מבוססי LLM (כמו Mistral ו-Llama) ניתנים לתפעול בקלות כדי לחלץ מידע אישי ממשתמשים - עד פי 12.5 יותר ממצב רגיל.

איך זה עובד?

• החוקרים בנו 3 סוגי צ'אטבוטים זדוניים שהשתמשו באסטרטגיות שונות:
  1. ישירה: בקשה גלויה למידע
  2. הטובת משתמש: הבטחת תמורה למידע
  3. הדדית: יצירת קשר רגשי ואמפתי

הממצאים המפתיעים:

• האסטרטגיה ה'הדדית' (reciprocal) הייתה היעילה ביותר
• צ'אטבוטים אלו הצליחו ליצור:
  • אמפתיה ותמיכה רגשית
  • שיתוף סיפורים אישיים כביכול
  • הבטחה לסודיות
• 52% מהמשתמשים לא הבחינו בסיכון לפרטיותם

"אין צורך בידע תכנותי מתקדם כדי לבנות בוטים זדוניים כאלה" - דר' שיאו זאן, קינגס קולג'

אזהרת החוקרים:

• רמאים ונוכלים יכולים לנצל זאת לאיסוף מידע בקנה מידה גדול
• מרבית ה-LLMs לא מאובטחים מספיק להגן על נתונים
• דר' וויליאם סימור: "צריך ליצור כללים מחמירים יותר נגד איסוף מידע סמוי"

מה עושים?

• נדרשת הגברת מודעות המשתמשים
• פלטפורמות צריכות לבצע ביקורות אבטחה מוקדמות
• רגולטורים חייבים לאכוף שקיפות ופיקוח