אנבידיה משיקה שכבת אבטחה נגד סוכני AI סוררים

בשבועות האחרונים, תעשיית ה-AI חוותה סדרה של תקריות מדאיגות שבהן סוכנים אוטונומיים הצליחו לברוח מסביבות בדיקה מבודדות, ה-Sandbox, ולנסות לגשת למערכות חיצוניות. OpenAI, אנתרופיק, מטא וגוגל דיווחו על מקרים כאלה, כשהבולט שבהם התרחש ביולי: סוכנים של OpenAI הגיעו לאינטרנט הפתוח וניסו לתקוף את Hugging Face, פלטפורמה מרכזית למודלים פתוחים. לפי אנבידיה, יותר מ-17 אלף סוכנים היו מעורבים בניסיונות תקיפה כאלה לאורך ימים ואף שבועות – מספר שמדגיש את קנה המידה של הסיכון.

בתגובה, אנבידיה משיקה את Open Agent Safety Platform, שכבת אבטחה חדשה המיועדת לסוכני AI. הפלטפורמה כוללת שני רכיבים עיקריים: OpenShell ו-Nvidia Sentry, שנועדו לשלוט בסוכנים ולנטר אותם בזמן אמת.

OpenShell מאפשר למפתחים להגדיר מראש אילו משאבים, קבצים, מערכות וכלי תוכנה רשאי סוכן AI להפעיל או שאליהם הוא רשאי לגשת. הוא פועל בשכבה נמוכה יותר מהמודל עצמו, מה שאומר שגם אם המודל ״מחליט״ לנסות לעקוף מגבלה כלשהי, מערכת האבטחה אמורה לעצור את הפעולה לפני שהיא מתבצעת. בפועל, זה אומר שליטה קפדנית ביכולות הסוכן – למשל, למנוע ממנו לגשת לקבצים רגישים או להפעיל קוד זדוני.

הרכיב השני, Nvidia Sentry, מנטר את פעילות הסוכנים באופן בלתי תלוי במעבד שעליו רץ הסוכן. הוא מחפש דפוסים חשודים, כולל ניסיונות ליצור תתי-סוכנים חדשים כדי לעקוף הגבלות. אם המערכת מזהה התנהגות חריגה, היא יכולה לבודד את הסוכן במהירות. הרעיון המרכזי הוא ליצור הפרדה בין ה״מוח״ שמבצע את המשימה ל״שוטר״ שמפקח עליו – גישה שאמורה לספק הגנה כשהמודלים עצמם הופכים חזקים יותר.

ההשקה מגיעה על רקע ויכוח גדול בתעשייה. דריו אמודיי, מנכ״ל אנתרופיק, קרא לאחרונה להאט את קצב הפיתוח של מודלי AI מסוג Frontier כדי לאפשר למנגנוני הבטיחות להדביק את הקצב. סם אלטמן מ-OpenAI ואילון מאסק הביעו תמיכה מסוימת בגישה זו, ו-OpenAI אף הודיעה לאחרונה על הפסקת האימון של המודלים המתקדמים ביותר שלה. לעומת זאת, ג'נסן הואנג, מנכ״ל אנבידיה, טוען שהפתרון אינו בהכרח רגולציה כבדה או האטה יזומה, אלא מערכות הנדסיות שיוכלו למנוע תקלות תוך כדי המשך ההתקדמות.

אנבידיה מרחיבה את תפקידה באקוסיסטם מעבר להיותה ספקית GPU. החברה מוכרת כעת מעבדים, תשתיות למרכזי נתונים וגם שכבת אבטחה לסוכני AI. הפלטפורמה מוצגת בקוד פתוח, עם שותפים כמו מיקרוסופט, אורקל, CoreWeave, דל, HPE, ARM, אינטל וסיסקו – מה שמעיד על ניסיון להפוך אותה לתקן תעשייתי. חשיבות השותפות הללו גדלה ככל שהשוק עובר ממודלים שמספקים תשובות לשאלות לסוכנים שמבצעים משימות שלמות. סוכן יכול להיכנס למאגר נתונים, להפעיל קוד, לשלוח הודעה, לגשת למערכת ארגונית או לבצע פעולה כספית. ככל שניתנת לו יותר אוטונומיה, כך גם הנזק האפשרי מתקלה או מהתנהגות בלתי צפויה גדל. לכן, שכבת אבטחה שמפקחת בזמן אמת עשויה להפוך לרכיב קריטי בכל מערכת ארגונית שמטמיעה Agentic AI.

ראוי לציין כי אנבידיה רכשה את Hugging Face בכ-13 מיליארד דולר מוקדם יותר החודש. החברה שנפגעה מאחד האירועים הבולטים בתחום האבטחה נמצאת כעת בקבוצה שמפתחת את הפתרון שאמור למנוע אירועים כאלה. החיבור ממחיש את ניסיונה של אנבידיה לשלוט ביותר שכבות של שרשרת הערך – מהחומרה שעליה המודל רץ, דרך התוכנה שמפעילה אותו ועד למערכת שמפקחת עליו.

בסופו של דבר, הוויכוח בין אנבידיה לבין מי שקוראים להאטת הפיתוח מציג שתי תפיסות שונות של עתיד ה-AI. אם Open Agent Safety Platform יצליח להפוך לתקן רחב, אנבידיה עשויה להרוויח לא רק מהמחשוב שמניע את עידן הסוכנים, אלא גם מהמערכות שמונעות מהם לצאת משליטה. בינתיים, הוויכוח נמשך – ואנבידיה מנסה לשחק גם בשני הצדדים.