SageMaker מנטרת endpoints ומתריעה על GPU ריקים ודריפט
AWS מפעילה ניטור אוטומטי ב-SageMaker AI שמאתר GPU ריקים, דריפט ב-latency וקונפיגורציות לא מיטביות. המערכת מופעלת כברירת מחדל על endpoints עם vLLM – ללא סטאפ וללא קריאת דאטה – ושולחת התראות דרך AWS Health, עם אפשרות להריץ benchmark ולהשוות חלופות.

הקונפיגורציה האופטימלית שקבעתם ביום הראשון כבר לא עובדת
כל מי שפרס endpoint של inference מכיר את הרגע הזה: בחרתם instance type, הגדרתם serving configuration, עשיתם scaling – והכול רץ יפה. עברתם הלאה. אבל העבודה לא עוצרת. תבניות ה-traffic מתפתחות, הפרומפטים מתארכים, מנועי serving כמו vLLM מוציאים גרסאות חדשות, ומגיעים checkpointים מכווננים שמשנים את הצרכים של המודל. לאט-לאט, ה-endpoint המכוונן היטב מתחיל לדריפט. ה-latency עולה, ה-time to first token מתייקר, ו-GPU שהקציתם לדרישה שלא הגיעה מעולם – יושב ריק שבוע אחר שבוע.
בגלל ששום דבר לא קרס, אף אזעקת מוניטורינג לא נדלקת. המשתמשים לא מרגישים עד שמאוחר מדי, או עד שאתם רואים את זה בחשבון.
AWS מכריזה היום: SageMaker AI מתחילה לנטר עבורכם את ה-endpoints האלה – וליידע אתכם מתי שינוי ישפר ביצועים או יוריד עלויות.
איך זה עובד?
הניטור מופעל כברירת מחדל לכל endpoint של SageMaker AI שמריץ מיכלי vLLM על GPU – בלי שום סטאפ מצדכם. SageMaker מסתכלת רק על סיגנלים תפעוליים: latency, ניצולת GPU, וה-configuration של ה-endpoint. היא לא קוראת את הבקשות או התשובות שלכם.
מתוך הסיגנלים האלה, המערכת מאתרת שלושה סוגי findings:
1. Latency Drift
עלייה שבוע אחר שבוע ב-latency החציוני (p50) של ה-latency מקצה לקצה או של ה-time to first token. זה לא חריג חד-פעמי – זה טרנד. המערכת מאתרת אותו ומדווחת לכם לפני שהמשתמשים מרגישים.
2. GPU לא מנוצל
GPUs שאתם משלמים עליהם אבל יושבים בעיקר ריקים. לא מדובר ב-spikes רגעיים, אלא ב-pattern קבוע. המערכת מזהה את זה ומציעה סוגי instance זולים יותר או גדלים קטנים יותר שיתאימו ל-traffic בפועל.
3. פערי Configuration
פה זה נהיה מעניין. המערכת בודקת אם:
- מיכל ה-serving שלכם לא מעודכן – יש גרסה חדשה יותר עם שיפור ביצועים או תיקוני אבטחה קריטיים
- המודל שלכם תומך ב-speculative decoding אבל זה כבוי
- ה-GPU kernels שלכם לא מכווננים למודל ולחומרה שאתם מריצים
כלומר: לא רק "משהו נשבר" – אלא "יש לכם כסף על השולחן ואתם לא לוקחים אותו".
מ-notification לפעולה בארבעה צעדים
כש-SageMaker מאתרת finding, היא שולחת התראה דרך AWS Health – התראה אחת לכל endpoint שמסכמת את כל ה-findings שלו. מפה, התהליך עובד בארבעה שלבים:
Observe – הניטור רץ ברקע, בלי עלות GPU נוספת, בלי קריאת דאטה.
Notify – אתם מקבלים התראה ב-AWS Health (וגם במייל), עם הסבר מה נצפה, למה זה משנה, ומה הצעד המומלץ הבא.
Recommend – לחיצה אחת פותחת את ה-agentic experience ב-SageMaker Studio, עם ה-endpoint ונתוני ה-traffic שלו מוזנים מראש. אתם יכולים להריץ benchmark מול חלופות – זמן תגובה, throughput, עלות למיליון tokens – ולהשוות צד-נגד-צד.
Decide – אתם משווים, מחליטים, ומפעילים. שום דבר לא משתנה ב-production עד שאתם בוחרים להחיל תוצאה.
ה-benchmarks רצים על compute נפרד, כלומר הם לא משפיעים על ה-endpoint שלכם בזמן הבדיקה.
לא רק ניטור – גם המלצות מותאמות
חוץ מהניטור הפסיבי, AWS מרחיבה את כלי ההמלצות של SageMaker AI בכמה כיוונים:
Inference Recommendations ב-SageMaker Studio
במקום לעבוד דרך API או קונסול, אתם יכולים עכשיו לפתוח את SageMaker Studio, לבחור פרופיל שימוש (Interact, Generate, Summarize, או Custom), יעד אופטימיזציה (latency, throughput, או עלות), ומודל – ולקבל טבלת השוואה מדורגת. המערכת משתמשת ב-NVIDIA AIPerf כדי לבחון את הקונפיגורציות על GPUs אמיתיים ומיישמת טכניקות מתאימות כמו speculative decoding ל-throughput או kernel tuning ל-latency.
SageMaker Python SDK v3
ההמלצות נכנסו ל-SDK ה-Python של SageMaker (גרסה 3.17.0 ומעלה). אתם יכולים:
- להריץ benchmark על endpoint חי מול ה-traffic שלכם
- לקבל המלצות מדורגות ליעד שבחרתם
- לפרוס את הקונפיגורציה המומלצת בקריאה אחת
ה-SDK גם תומך ב-workflows ארוכים יותר: אפשר להריץ recommendation jobs במקביל כדי להשוות בין frameworks כמו LMI ו-vLLM, ולשמור תוצאות של job שהסתיים כדי לפרוס בשלב אחר בלי להריץ את ה-benchmarks מחדש.
תמיכה ב-LoRA Adapters
הרבה צוותים משתמשים ב-LoRA adapters כדי להתאים foundation model אחד למקרים שונים. כל adapter שמוחזק בזיכרון ה-GPU מוריד את כמות הבקשות המקבילות שה-endpoint יכול לשרת – והאיזון הנכון תלוי ב-instance type, במספר ה-adapters ובפרופיל ה-traffic.
SageMaker AI מקבלת עכשיו adapters כ-ARNs (ל-adapters שהופקו דרך SageMaker fine-tuning) או כ-S3 URIs (ל-adapters מ-pipelines חיצוניים כמו Hugging Face PEFT). המערכת בוחנת שילובים של כמות adapters ו-concurrency על GPUs אמיתיים ומחזירה תוצאות מדורגות. הפריסה המומלצת משתמשת ב-SageMaker Inference Components – אחד למודל הבסיסי ואחד לכל adapter – כך שאפשר להוסיף, לעדכן או להסיר adapter בלי לפגוע במודל.
SLA-Based Concurrency Search
עוד פיצ'ר מעניין: אתם יכולים להגדיר יעד latency (למשל 500ms time to first token ב-peak load), והמערכת תמצא את רמת ה-concurrency המקסימלית שבה ה-endpoint יכול לעמוד ב-SLA. זה עונה על שאלה שצוותים שואלים הרבה: "כמה concurrent requests אנחנו יכולים לקבל בלי לחרוג?"
תמיכה ב-Coding Agents
AWS מכניסה את היכולות האלה גם לתוך coding agents – אותם עוזרים שאתם כבר עובדים איתם ב-IDE. יש agent skill חדש שמביא את אותה מומחיות בתחום ההמלצות לתוך סביבת העבודה שלכם. אם אתם עובדים ב-notebooks, ב-CI pipelines או ב-coding agents – הכלי מגיע אליכם.
למה זה חשוב לנו?
אם אתם עובדים עם SageMaker AI ל-inference של מודלים גדולים, הפיצ'ר הזה נוגע ישירות בשתי נקודות כאב מוכרות:
עלות. GPU יקרים, ו-endpoint שלא מנוצל במלואו או שלא עבר אופטימיזציה זה כסף מבוזבז. ניטור אוטומטי שמתריע לכם – בלי שתצטרכו לבנות דשבורדים בעצמכם – יכול לחסוך לא מעט.
זמן. במקום לנחש איזה instance type מתאים, איזה serving container לעדכן, או כמה adapters אפשר לטעון – אתם מקבלים benchmark מוכן עם תוצאות צד-נגד-צד. זה הופך החלטה שנמשכת שעות (או ימים) למשהו שאפשר לסגור ברבע שעה.
והעובדה שהכול מופעל כברירת מחדל, בלי סטאפ, וללא קריאת הדאטה שלכם – מפחיתה את החסם לאפס.
בקצרה
AWS לוקחת את בעיית ה-drift שהרבה צוותים מתעלמים ממנה – פשוט כי אין אזעקה – ונותנת לה מענה אוטומטי. הניטור רץ ברקע, ההתראות מגיעות דרך AWS Health, ומשם אתם יכולים לפעול ב-SageMaker Studio, ב-SDK או ב-coding agent. שום דבר לא משתנה ב-production בלי אישור מפורש שלכם.
אם יש לכם endpoints של inference על SageMaker – כדאי לדעת שהניטור הזה כבר רץ. השאלה היחידה היא מתי תקבלו את ההתראה הראשונה שלכם.