CloudWatch Omni: למה ה-AI עשה את זה?
AWS השיקה את CloudWatch Omni, שירות ניטור והערכה אחוד ל-AI גנרטיבי ולעומסי עבודה מבוססי סוכנים. הוא מציע כלי אימות מובנים ושיתוף פעולה צוותי, ונועד לענות על השאלה למה סוכנים מתנהגים מוזר. עם תחזית של מיליארד סוכנים עד 2029, זה הופך לכלי קריטי עבור ארגוני טכנולוגיה.
אתם מכירים את זה שאתם מריצים AI agent, הכול נראה תקין במטריקות, אבל התשובות פשוט לא עובדות? זה בדיוק האתגר ש-AWS מנסה לפתור עם השירות החדש שלה, CloudWatch Omni. בעולם שבו סוכנים אינטליגנטיים מתחילים לפעול בסביבות ייצור, הניטור המסורתי פשוט לא מספיק.
הבעיה: ניטור סוכנים
במשך עשורים, תעשיית הניטור התמקדה בשאלה אחת: האם המערכת רצה? אבל עם מערכות מבוססות סוכנים, המשחק משתנה. סוכן יכול להחזיר תשובה תקינה, לעמוד ביעדי זמן תגובה ולא לזרוק שגיאות, ובכל זאת לתת ללקוח תשובה שגויה, לקרוא לכלי הלא נכון או למשוך ממאגר ידע מיושן. בכל המדדים המסורתיים המערכת בריאה, אבל הדבר היחיד שחשוב לעסק הוא התוצאה — והיא נכשלת.
צוותי הנדסה מבלים שעות בסקירת יומנים ידנית ומתקשים לאתר מה השתנה או למה. כלים קיימים מאלצים אותם לבחור בין ניטור מבודד של AI גנרטיבי לבין פתרונות מנופחים, שדורשים מעבר מתמיד בין סביבת העבודה ללוחות מחוונים בדפדפן. זה כאב אמיתי שאתם מכירים מקרוב.
הפתרון: CloudWatch Omni
AWS מכוונת לבעיה הזו עם CloudWatch Omni, שהפך לזמין לאחרונה. השירות מוגדר כדור הבא של CloudWatch, והוא מותאם במיוחד לעומסי עבודה של AI גנרטיבי ושל מערכות מבוססות סוכנים. הוא מציע חוויית ניטור, אימות וניסויים אחודה, שבנויה סביב האפליקציות שלכם ולא סביב אותות בודדים.
השירות בנוי על תקנים פתוחים כמו OpenTelemetry, מה שאומר שאתם יכולים לשלוח טלמטריה ממערכות קיימות, כמו זו שאתם כבר שולחים ל-CloudWatch, ללא שינוי. כל עומס עבודה שצויד ב-OpenTelemetry שולח נתונים ל-endpoint של OTLP. זה אומר פחות תצורה מחדש ויותר התמקדות בבעיה.
CloudWatch Omni עובד דרך שני ממשקים משלימים: הראשון הוא תוסף ל-IDE, עם תמיכה כרגע ב-VS Code וב-Kiro, שבו traces מופיעים בזמן ריצה, עם playground ומעריכים במרחק קליק. השני הוא חוויית ווב עצמאית, עם גישה דרך SSO ארגוני (כמו Okta ו-Azure AD), מחוץ ל-AWS Management Console. שני הממשקים חולקים את אותה שכבת נתונים, כך ש-trace שהמפתח מנפה הוא אותו trace שהאופרטור חוקר.
תכונות עיקריות
החלק הכי חשוב הוא מנוע האימות. Omni כולל 17 מעריכים מובנים שמדרגים עקביות, מועילות, נאמנות ותקינות של קריאות, בין היתר. אתם יכולים להשוות גרסאות של prompts ב-playground, לבנות מערכי בדיקה מתעבורת ייצור ולהריץ ניסויים כדי לזהות רגרסיות אוטומטית. מעריכים יכולים לרוץ ברציפות מול תעבורה חיה, כך שירידה באיכות מסומנת באותו אופן שבו קפיצה בשימוש ב-CPU מסומנת.
בנוסף, השירות מציע שיתוף פעולה צוותי. כל מהנדס נכנס דרך URL יחיד עם SSO ארגוני. SREs, מפתחים, מהנדסי מסדי נתונים ומנהלים חולקים את אותם נתונים ואת אותו הקשר חקירה. כאשר חקירה מסתבכת, האדם הבא נכנס לאותו סשן, כשכל ההקשר כבר מוכן.
עוד תכונה היא גילוי שירותים אוטומטי. Omni מגלה את השירותים שלכם, ממפה תלויות ומגדיר התראות באופן אוטומטי. במקום לתחזק לוחות מחוונים באופן ידני, אתם מגדירים מה חשוב (יעדי זמינות, תקציבי זמן תגובה וספי שגיאות), והמערכת מתעדכנת כאשר אתם מטמיעים שירותים חדשים.
AI-powered investigation
ה-DevOps Agent משתתף בחקירות, מקשר אותות ומציע צעדים הבאים. הוא עובד עם אותה טלמטריה שהמהנדסים שלכם רואים, כך שההצעות מבוססות על המצב האמיתי של האפליקציה. ה-Agent מזהה אירועים מקושרים, עוקב אחרי נתיבי סיבת השורש בגרף התלויות ושומר את היסטוריית החקירות לסקירה post-incident.
נניח שאזעקה נדלקת על שיעור שגיאות גבוה בשירות ה-checkout שלכם. Omni פותח סשן חקירה עם טופולוגיית שירותים, אותות מקושרים (כמו deployment שבוצע 10 דקות קודם ועלייה בזמן התגובה של API התשלומים downstream) והניתוח ההתחלתי של ה-DevOps Agent. ה-SRE שלכם מאשר את הקשר, נכנס לתצוגת ה-trace כדי לזהות נקודות קצה כושלות ובודק אם זמן התגובה של API התשלומים קשור למגבלת קיבולת.
למה זה חשוב לכם?
אם אתם מפתחי AI או SREs, אתם יודעים שהניטור המסורתי לא מכסה את ההתנהגות הלא-דטרמיניסטית של סוכנים. CloudWatch Omni מציע גישה חדשה: במקום לשאול "האם זה רץ?", לשאול "למה ה-AI עשה את זה?". זו השאלה שעומדת בין רוב הארגונים לאימוץ AI ברמת ייצור בקנה מידה גדול.
קחו לדוגמה את Sony. ״ב-Sony, פלטפורמת ה-AI הארגונית שלנו תומכת כעת במאות פרויקטים של הוכחת היתכנות ובעומסי עבודה בייצור״, אמר מסהירו אובא, מנהל כללי בכיר של חטיבת האצת ה-AI ב-Sony. ״בקנה מידה כזה, ניטור ואימות הם חיוניים. עם Amazon CloudWatch Omni, אני יכול לעבור מ-trace בודד ישירות לאימות, לניתוח AI, להשוואה או ליצירת מערכי נתונים.״
המפתח כאן הוא ״מאות״. רוב החברות שאני מדבר איתן לא תקועות בבניית סוכן יחיד, אלא בניהול עשרות או מאות סוכנים, שכל אחד מהם נבנה על ידי צוות עם רעיון אחר לגבי איך ״טוב״ נראה. יצירת מערכי אימות לרוב מהווה צוואר בקבוק עסקי, ו-Omni מאפשר ליצור אותם בלחיצה אחת מנתוני ייצור חיים.
ויש גם הקשר תעשייתי: IDC חוזה שעד 2029 יהיו יותר ממיליארד סוכני AI פרוסים. אף צוות תפעול לא יכול לבדוק ידנית כמות כזו של התנהגות לא-דטרמיניסטית. הכלים צריכים להתרחב.
סיכום ומבט קדימה
CloudWatch Omni הוא צעד משמעותי במעבר לניטור מונחה אימות. הוא מציע כלים שמתאימים לעולם שבו סוכני AI הופכים לחלק קריטי מהמערכות. לכם, כאנשי טכנולוגיה, זה אומר סביבת עבודה משולבת יותר, עם דגש על איכות התשובות ולא רק על ביצועים. בסוף, אם ה-AI שלכם עושה משהו מוזר, לפחות עכשיו יש דרך לענות על השאלה למה.