חוקרי סייבר ישראלים חושפים פרצות קריטיות בסוכן AI של מיקרוסופט
חוקרים ישראלים הדגימו כיצד ניתן להשתלט על סוכן AI של מיקרוסופט דרך מניפולציה מילולית, ולגרום לו לאשר טיסות ללא תשלום ולחשוף פרטי אשראי רגישים של לקוחות. הפרצה, המבוססת על הזרקת הנחיות, חושפת סיכונים קריטיים בשימוש בטכנולוגיות Agentic AI.
חשיפת פרצות אבטחה חמורות בסוכן ה-AI של מיקרוסופט
חוקרי סייבר מישראל חשפו פרצות אבטחה קריטיות ב-Microsoft Copilot Studio – הפלטפורמה לבניית סוכני AI ארגוניים. באמצעות טכניקה הנקראת הזרקת הנחיות (Prompt Injection), הצליחו החוקרים לגרום לסוכן נסיעות וירטואלי לבצע פעולות מסוכנות:
מה הצליחו החוקרים להשיג?
- הענקת כרטיסי טיסה בחינם: החוקרים "שכנעו" את הסוכן לשנות מחירי טיסות ל-0 דולר
- חשיפת נתונים רגישים: הסוכן חשף פרטי אשראי ומידע אישי של לקוחות אחרים במערכת
- עקיפת מנגנוני אימות: המודל התעלם מהוראת האימות "אמת את זהות הלקוח לפני ביצוע שינויים"
איך זה עובד? ההסבר הטכני
ההונאה בוצעה באמצעות מניפולציה מילולית מתוחכמת:
- הסוכן נבנה בפלטפורמת Copilot Studio עם גישה למאגר נתונים (וירטואלי) של פרטי לקוחות.
- החוקרים השתמשו בניסוחים מיוחדים שגרמו למודל להתעלם מהוראותיו המקוריות.
- המודל הגיב לבקשות "מעוצבות במיוחד" כאילו היו הוראות לגיטימיות ממפתחיו.
"בוני סוכני AI מנגישים את היכולת לבצע הונאות פיננסיות", מסבירה קרן כץ מ-Tenable. "הכוח הזה יכול להפוך בקלות לסיכון אבטחה מוחשי."
ההשלכות והסיכונים העסקיים
המחקר מדגיש מספר סכנות קריטיות:
- סיכונים פיננסיים: האפשרות לבצע הונאות בקנה מידה גדול
- פגיעה בפרטיות: חשיפת מידע אישי ורגיש של לקוחות
- חוסר אכיפת מדיניות: מודלים לא מצליחים לאכוף הנחיות אבטחה בסיסיות
חשוב להדגיש שהפרצה אינה ייחודית למיקרוסופט – פלטפורמות כמו Agentforce של Salesforce והמודלים המותאמים של OpenAI מתמודדות עם אתגרים דומים.
הבעיה הרחבה בעולם ה-AI הארגוני
המקרה מצטרף לשורת אירועים מדאיגים:
- חברת Air Canada חויבה לפצות לקוח לאחר שצ'אטבוט "הזוי" המציא מדיניות החזרים.
- סוכנות רכב אפשרה מכירת רכב יוקרה בדולר בודד דרך צ'אטבוט מנוצל.
- הרגולציה באירופה ובסין החלה להתמודד עם סיכונים דומים, אך עדיין מפגרת אחרי הטכנולוגיה.
מהם הלקחים?
- צמצום הרשאות: הגבלת גישת סוכני AI למערכות קריטיות.
- שכבות הגנה נוספות: ביצוע אימות זהות בנקודות נוספות בזמן אינטראקציה.
- בקרות מחמירות: פיקוח אנושי על פעולות סוכנים אוטונומיים.
בעולם שבו ארגונים ממהרים להטמיע "סוכנים אוטונומיים" מבוססי AI, המחקר הישראלי משמש תמרור אזהרה: אין די בפיתוח יכולות – יש לחזק את המנגנונים האבטחתיים לפני שמעניקים למודלים גישה לנתונים רגישים.