ידיעות בינה מלאכותית בנושא VULNERABILITY
מומחי אבטחה ו-OpenAI מתריעים כי מתקפות Prompt Injection נותרו איום משמעותי על סוכני AI, למרות מאמצי חיזוק. הפגיעות, הדומות ל-SQL Injection, מאפשרות לתוקפים להשתלט על פעולות הסוכן דרך טקסט מוסתר. OpenAI משיקה כלי אוטומטי מבוסס למידת חיזוק לאיתור חולשות, אך מומחים מטילים ספק באפשרות לפתרון מלא.
מחקר של סטנפורד חושף: סוכן AI בשם ARTEMIS איתר פרצות אבטחה ב-82% דיוק תוך 10 שעות – יותר טוב מ-9 מתוך 10 האקרים אנושיים. עלות הפעלה: 18$ לשעה בלבד. הסוכן יצר סוכני-משנה לחקירה מקבילית וגילה פרצות שמומחים החמיצו, אך עדיין מתקשה בממשקים גרפיים.
חוקרים ישראלים הדגימו כיצד ניתן להשתלט על סוכן AI של מיקרוסופט דרך מניפולציה מילולית, ולגרום לו לאשר טיסות ללא תשלום ולחשוף פרטי אשראי רגישים של לקוחות. הפרצה, המבוססת על הזרקת הנחיות, חושפת סיכונים קריטיים בשימוש בטכנולוגיות Agentic AI.
חוקרי אבטחה חשפו פרצה חמורה במערכות CI/CD המשתמשות בסוכני AI, המאפשרת להזריק פקודות זדוניות באמצעות בקשות GitHub. ההתקפה, המכונה PromptPwnd, עלולה להוביל לביצוע פעולות מסוכנות כגון דליפת סודות או שינוי קוד. חברת Aikido Security דיווחה על הבעיה לגוגל והודיעה כי היא קיימת בכל מודלי ה-AI המובילים.
מייקל ברגורי, מייסד Zeniti, חשף בכנס סייבר חולשת אבטחה ב-ChatGPT המאפשרת התחזות למודל, שאיבת מידע רגיש ושליחת תוכנות זדוניות. Zeniti מגנה על מודלי AI מפני התקפות.
חשיפת פרצות RCE במערכי AI של מטא, NVIDIA ומיקרוסופט עקב העתקת קוד פגום; SentinelOne משיקה פלטפורמת אבטחת AI משולבת AWS; עליית איומי Shadow AI - שימוש לא מפוקח במודלים על ידי עובדים הגורם לדליפות נתונים וסיכונים משפטיים.
CISA מציגה את ה-AI ככלי קריטי להתמודדות עם זיהוי וניהול של 40,000 פרצות אבטחה חדשות בשנה. כריס בוטרה מסביר כיצד אוטומציה חכמה יכולה לפשט מעקב אחר פרצות ולהאיץ תגובה לאיומי סייבר, תוך ציון יתרונות האינטגרציה דרך API.