סיכון אבטחה חדש: סוכני בינה מלאכותית עלולים לחשוף מידע רגיש באמצעות גלישה פשוטה

הפתעה מסוכנת: כיצד סוכני AI יכולים לדלוף מידע ארגוני מבלי לפרוץ למערכת

מחקר חדש משותף של מעבדות Smart Labs AI ואוניברסיטת אוגסבורג חושף פרצת אבטחה מדאיגה בסוכני בינה מלאכותית ארגוניים. ההתקפה, המכונה "הזרקת פקודות עקיפה", מאפשרת לחשוף מידע פנימי רגיש של ארגונים ללא צורך בפריצה ישירה למערכות.

איך זה עובד?

סוכני AI רבים משולבים כיום בסביבות ארגוניות ובעלי יכולת:

• חיפוש באינטרנט
• גישה למסמכים פנימיים
• שילוב מידע ממקורות שונים באמצעות RAG (Retrieval Augmented Generation)

החוקרים הדגימו כיצד הוראות מוסתרות בדפי אינטרנט (למשל טקסט לבן על רקע לבן) יכולות "לתכנת" את הסוכן:

1. הסוכן מבצע חיפוש אינטרנט שגרתי
2. הדף הנקרא מכיל הוראות מוסוות
3. הפקודות המוסתרות מורות לסוכן:
   • לאחזר מידע מסווג מבסיס הידע הפנימי
   • לשלוח את המידע לשרת מרוחק

ממצאי המחקר המפתיעים

בבדיקות נרחבות שנערכו על 1,068 שילובים של פקודות:

• שיעורי הצלחה שונים בין דגמי שפה גדולים וקטנים
• גודל הדגם לא היה הגורם המכריע - דגמים קטנים מסוימים הראו עמידות טובה יותר מדגמים גדולים
• הדרכים בהן אומן הדגם (training) וההתאמות (alignment) השפיעו יותר על רמת האבטחה

למה ההגנות הקיימות לא מספיקות?

מרבית מערכות האבטחה מתמקדות בבדיקת קלט ישיר מהמשתמש, אך ההתקפה עוקפת זאת באמצעות:

✔️ ניצול תפקוד רגיל של הסוכן ✔️ הוראות המוטמעות בתכנים חיצוניים ✔️ שימוש בכלי חיפוש שכבר מאושרים בשימוש

המלצות קריטיות למנהלי אבטחה

אלעד שולמן, מנכ"ל Lasso Security, ממליץ:

• התייחסות לסוכני AI כאל מערכות תוכנה מורכבות הזקוקות להגנות שכבות
• מיפוי מקורות מידע פנימיים אליהם יש לסוכן גישה
• הטמעת מנגנוני פיקוח בין הסוכן לכלים חיצוניים
• ביצוע בדיקות אבטחה ייעודיות לסוכנים

"ככל שסוכני AI יוטמעו ביותר כלים כמו דפדפנים, אימייל ומערכות עבודה - הסיכון לפעולות לא מתוכננות גדל"

המחקר מדגיש את הצורך בפיתוח סטנדרטים תעשייתיים חדשים, כאשר ארגונים כמו OWASP, NIST ו-CoSAI כבר עובדים על מסגרות אבטחה מתאימות.