Google Cloud טוענת לחיסכון של פי 10 בהרצת סוכני AI

העלות הגבוהה של הרצת סוכני AI ב-Kubernetes הפכה לכאב ראש אמיתי. אם אתם מנהלים צוותי פיתוח או עובדים עם תשתיות ענן, אתם יודעים היטב: סוכנים חכמים מבלים בין 90% ל-95% מזמנם בהמתנה לבני אדם, מודלים או אישורים — אבל התשתיות שלהם ממשיכות לפעול, ואתם משלמים על כל דקה. Google Cloud מצאה דרך לשנות את המשחק.

אז מה בעצם קרה כאן? בשבוע האחרון הודיעה גוגל שתרמה שלושה פרויקטים בקוד פתוח לקרן ה-CNCF (Cloud Native Computing Foundation): Agent Substrate, ‏gVisor ו-OpenRL. המטרה היא להוריד את העלויות של הרצת סוכנים אוטונומיים ב-Kubernetes, ובעיקר — לאפשר למערכת לשחרר משאבים בלתי מנוצלים כשהסוכן ממתין.

איך זה עובד?

Agent Substrate הוא runtime שפועל בסביבות מבודדות על Kubernetes. כשהסוכן נכנס להמתנה, הפרויקט שומר סנאפשוט של הזיכרון והקבצים המקומיים ומשחרר את כוח המחשוב למשימות אחרות. כשהסוכן חוזר לפעול, ה-runtime משחזר אותו מנקודת השמירה — בלי צורך להקצות משאבים חדשים בזמן ההמתנה. אלן ניים (Allan Naim), מנהל מוצר בתחום תשתית AI בגוגל, טוען שהגישה הזו הפחיתה את העלויות פי 10 בהשוואה להרצת סוכנים על מכונות וירטואליות או קונטיינרים ייעודיים.

מה עם אבטחה?

כאן נכנס gVisor, פרויקט שגוגל הפכה לקוד פתוח כבר ב-2018. הוא יושב על ליבת המארח (host kernel) ובודק כל קריאת מערכת שהסוכן מבצע — וחוסם או בודק אותה לפי הצורך. גארי סינג (Gari Singh), מנהל מוצר בגוגל, מסביר: ״סוכנים נועדו לפתור בעיות, והם ימצאו כל דרך יצירתית לעשות זאת. צריך לוודא שהם לא משנים הגדרות אבטחה בסיסיות, לא מריצים קבצים שלא אמורים לרוץ או מבצעים קריאות רשת לא מורשות.״

מה עם למידת חיזוק?

OpenRL מטפל בצד הזה. הפרויקט מאפשר למידת חיזוק (reinforcement learning) בסביבות Kubernetes, מה שמלמד מודלים שעברו אימון נוסף לשמור על גבולות — למשל, למנוע תגובות לא רצויות. ניים מציין: ״בעבר, כדי לעשות למידת חיזוק, היית צריך לשכור עשרות חוקרים בעלי PhD. המטרה שלנו היא להביא את התחום להנדסת פלטפורמות, כדי שנוכל לבצע שיפור מתמשך בסוכנים.״

Kubernetes נכנס ל-Act 3

ההקשר הרחב יותר הוא ש-Kubernetes, הפלטפורמה שכבשה את עולם ה-AI לאימון ולהסקה בשנים האחרונות, נכנסת לשלב חדש. ניים קורא לזה ״Act 3״: דפוסי העבודה של סוכנים אוטונומיים שונים מאוד מהעיצוב המקורי של Kubernetes. גוגל, בשיתוף פעולה עם חברות כמו Anyscale, למשל במסגרת KubeRay, מנסה להתאים את הפלטפורמה למציאות החדשה — בלי לדרוש החלפה מלאה של כל כלי העבודה.

בובי אלן (Bobby Allen), מהנדס ענן בגוגל, מבהיר: ״Kubernetes, אחרי 12 שנה, מקבל חיים חדשים. הפעם לא צריך פלטפורמה חדשה. אפשר לבנות על מה שיש.״

מה על הפרק?

מדובר במהלך שמשפיע ישירות על מי שמנהל תשתיות AI. העלויות של זמן ההמתנה מצטברות, והפרויקטים החדשים מציעים פתרון מעשי. בנוסף, התרומה ל-CNCF מדגישה את המחויבות של גוגל לקוד פתוח ולשיתוף פעולה. אם אתם עובדים בתחום, שווה לעקוב — החיסכון בעלויות עשוי להיות משמעותי, במיוחד בקנה מידה גדול.

ומי אמר שהעתיד של ה-AI חייב להיות יקר?