Cato Networks מציעה 30 אלף דולר למי שישטה בסוכן AI
Cato Networks, יוניקורן הסייבר הישראלי, משיקה את AgentSense – פתרון אבטחה לניטור סוכני AI בזמן אמת, ומאתגרת האקרים עם פרס של 30 אלף דולר כדי לבדוק את יעילותו נגד מתקפות prompt injection. הצעד נועד להתמודד עם חולשה ארכיטקטונית בסוכנים שמאפשרת לתוקפים להסיט אותם ממשימותיהם.

Cato Networks מציעה פרס נאה למי שיצליחו "לעבוד" על סוכן AI מוגן
Cato Networks, יוניקורן הסייבר הישראלי שהוקם על ידי שלמה קרמר, משיקה היום את AgentSense – פתרון אבטחה חדש שנועד להגן על סוכני בינה מלאכותית אוטונומיים. אבל במקום רק לדבר על הטכנולוגיה, החברה הולכת צעד אחד קדימה: היא מציעה פרס של 30 אלף דולר לשלושת ההאקרים הראשונים שיצליחו להחדיר הוראות זדוניות לסוכן AI המוגן על ידי המערכת החדשה, ולגרום לו לסטות מהמשימה שהוגדרה לו.
מה בעצם קרה כאן?
AgentSense, שפותח במעבדות ה-AI של Cato Networks ורשום כפטנט, נועד לנטר בזמן אמת את פעילותם של סוכנים אוטונומיים. המטרה: לוודא שההחלטות, הפעולות והתוצאות של הסוכנים תואמות את כוונת המשתמש, ולמנוע מהם לבצע פעולות מזיקות. "בעידן שבו ארגונים מפקידים בידי סוכני AI החלטות שמשפיעות על הכנסותיהם, על הקשר עם הלקוחות ועל הרציפות העסקית, הבקרה על פעילות הסוכנים הופכת חיונית לא פחות מהבקרה הפיננסית", אמר שלמה קרמר, מנכ"ל ומייסד Cato Networks. "הענקת אוטונומיה רבה יותר לסוכני AI מחייבת מנגנוני אבטחה שיסכלו פעולות מזיקות."
למה זה כל כך מסוכן?
הבעיה המרכזית היא חולשה ארכיטקטונית בסיסית בסוכני AI: הם מתקשים להבחין בין הוראות לגיטימיות שעליהם לבצע לבין תוכן חיצוני שהם נחשפים אליו במהלך המשימה. תוקפים יכולים לנצל זאת כדי להטמין הוראות זדוניות בהודעות דוא"ל, בדפי אינטרנט, במסמכים או בתגובות של כלים אחרים – מתקפה הידועה כ-indirect prompt injection. כאשר לסוכן יש גישה למידע ארגוני רגיש, יכולת להפעיל כלים חיצוניים ואפשרות לפעול באופן עצמאי, נוצר מה שמכונה "השילוש הקטלני" (lethal trifecta), שיכול להפוך מתקפה לאיום עסקי ממשי, עם סיכונים כמו דליפת מידע או שיבוש תהליכים.
איך AgentSense מתמודד עם זה?
הפתרון של Cato Networks מתמקד בזיהוי בזמן אמת של השפעה לא מהימנה (Untrusted Influence Detection). המערכת עוקבת אחר האופן שבו הוראות ונתונים משפיעים על התנהגות הסוכן במהלך הפעילות. כאשר היא מזהה שתוכן לא מהימן מוביל את הסוכן לפעולה לא בטוחה, היא חוסמת אותה לפני ביצוע. בניגוד לפתרונות שמסתמכים על זיהוי דפוסים מוכרים של תקיפה, גישה זו נועדה לספק הגנה גם מפני מתקפות חדשות ובלתי צפויות, מה שמייחד את AgentSense בתחום.
האתגר: 30 אלף דולר על הכף
כחלק מההשקה, Cato Networks מזמינה את קהילת אבטחת המידע לתקוף תהליך עבודה של סוכן AI המוגן על ידי AgentSense. המשתתפים ינסו להטמין הוראות זדוניות בתוכן שהסוכן נחשף אליו, במטרה לגרום לו לבצע פעולות לא מורשות. שלושת המשתתפים הראשונים שיעמדו בתנאי הזכאות ויצליחו באתגר יזכו ב-10,000 דולר כל אחד. Cato Networks תשתמש בממצאים ובמשוב כדי לשפר את יכולות ההגנה של המערכת, מה שמעיד על גישה מעשית לאבטחת מוצר.
אז מה זה אומר לנו?
המהלך של Cato Networks מצביע על ההכרה הגוברת בכך שאבטחת סוכני AI היא לא רק עניין טכני, אלא קריטית לעסקים – במיוחד כשהם מטפלים בתהליכים שמשפיעים על הכנסות ולקוחות. עם יותר ארגונים שמסתמכים על סוכנים אוטונומיים, הצורך בפתרונות כמו AgentSense רק יגדל. ואם כבר מציעים כסף כדי לשבור את המערכת – כנראה שיש ביטחון מסוים ביכולותיה. או שזו דרך יצירתית לעשות בדיקות בטא.