ידיעות בינה מלאכותית בנושא PROMPT INJECTION
OpenAI חשפה את GPT-Red, מערכת AI פנימית שתוקפת את המודלים שלה כדי למצוא פגיעויות של prompt injection. היא מצליחה ב-84% מהתרחישים לעומת 13% של צוותים אנושיים, וכבר מוטמעת באימון מאז GPT-5.3. המערכת לא תשוחרר — הידע נשאר פנימי ומחזק את המודלים הבאים.
חוקרים מ-Noma Security גילו פרצת אבטחה בשם GitLost ב-GitHub Agentic Workflows. הפרצה מאפשרת לתוקף להערים על AI agent לחשוף תוכן ממאגרים פרטיים על ידי פרסום issue במאגר ציבורי. זה קורה בגלל prompt injection עקיף, וההגנה הקיימת עוקפה בקלות עם מילה אחת. המקרה מדגיש את הסיכונים המובנים במערכות AI אוטונומיות בפיתוח.
מומחי אבטחה ו-OpenAI מתריעים כי מתקפות Prompt Injection נותרו איום משמעותי על סוכני AI, למרות מאמצי חיזוק. הפגיעות, הדומות ל-SQL Injection, מאפשרות לתוקפים להשתלט על פעולות הסוכן דרך טקסט מוסתר. OpenAI משיקה כלי אוטומטי מבוסס למידת חיזוק לאיתור חולשות, אך מומחים מטילים ספק באפשרות לפתרון מלא.
חוקרים ישראלים הדגימו כיצד ניתן להשתלט על סוכן AI של מיקרוסופט דרך מניפולציה מילולית, ולגרום לו לאשר טיסות ללא תשלום ולחשוף פרטי אשראי רגישים של לקוחות. הפרצה, המבוססת על הזרקת הנחיות, חושפת סיכונים קריטיים בשימוש בטכנולוגיות Agentic AI.
גרטנר וסוכנות ממשלתית בריטית מזהירות כי דפדפני AI כמו ChatGPT Atlas ו-Perplexity Comet מהווים סיכוני אבטחה שאינם ניתנים לצמצום. ההמלצה: חסימה מיידית בארגונים, בעיקר בתעשיות רגישות כמו פיננסים ובריאות, עקב סכנות של הזרקת פקודות ודליפת נתונים.
