DoorLoop: תפסיקו למדוד Hallucinations, תמדדו ROI
רועי אהל, VP Engineering ב-DoorLoop, חושף את חמשת עקרונות הארכיטקטורה שהפכו את סוכני ה-AI שלהם מפיצ'ר נוסף למנוע צמיחה מדיד. בין היתר: שימוש ב-RAG על הדאטה הארגוני, ארכיטקטורת Agent Orchestration מודולרית, והחלפת מדדי הדיוק הקלאסיים במדדי ROI עסקיים — דוגמת שיעור השלמת משימות ואימוץ חוזר.
רוב החברות שמזריקות AI למוצר שלהן עושות את אותה טעות יסודית: הן מודדות את המדדים הלא נכונים. הן עוקבות אחרי Hallucination Rate, דיוק המודל ו-latency — ומחזיקות אצבעות שהלקוחות יאמצו. רועי אהל, VP Engineering ב-DoorLoop, טוען בטור דעה שפרסם לאחרונה שהגישה הזו הפוכה לגמרי. לטענתו, ב-DoorLoop הם הפכו את סוכני ה-AI מפיצ'ר נחמד למנוע צמיחה מדיד — וחמישה עקרונות ארכיטקטורה הם מה שעשה את ההבדל.
ערך אמיתי ללקוח, לפני הכל
לפני שניגשים לממש סוכן AI כלשהו, אהל מדגיש שצריך להבין מה באמת כואב ללקוחות — לא "בואו נשים AI ב-X כי כולם עושים את זה". ב-DoorLoop נכנסו לעומק: ניתחו שימושים במערכת, מיפו נקודות כאב חוזרות בתהליכי העבודה, והגדירו עבור כל צורך בעיה עסקית ברורה ומדדי הצלחה. הם התמקדו רק ביכולות שמייצרות חיסכון מוכח בזמן, שיפור דיוק או הגדלת הכנסות. "כש-AI פותר בעיה אמיתית", הוא כותב, "לקוחות מאמצים אותו מהר ומשתמשים בו שוב ושוב".
הקשר עמוק — לא סתם מודל גדול
העיקרון השני, שאהל מכנה Grounded Context, טוען שהערך האמיתי לא טמון במודל עצמו אלא בדאטה הארגוני. ב-DoorLoop בנו את הסוכנים שיעבדו ישירות מול הידע הארגוני באמצעות RAG (Retrieval-Augmented Generation), מה שמזין למודל הקשר מדויק, עדכני ומבוסס-מקורות. מעבר לכך, יישמו שכבת Persistent Context ו-User State Management — שמירה על ההקשר התפעולי לאורך אינטראקציות מרובות. זה אומר שהסוכן זוכר פעולות קודמות, העדפות משתמשים ומצב נוכחי, ופועל מתוך ההקשר העסקי הייחודי של כל לקוח. התוצאה: במקום השלמת משפטים (Text Completion), הסוכן משלים פעולות עסקיות (Action Completion).
Agent Orchestration מודולרית
עולם המודלים הגדולים זז מהר מדי מכדי לנעול את עצמך על מודל אחד. ב-DoorLoop בנו ארכיטקטורה עם Agent ראשי שמפנה בקשות לסוכנים משניים, מה שמאפשר שני דברים קריטיים. הראשון: Optimized Model Routing — שליחת שאילתות פשוטות ותדירות למודלים קטנים ומהירים (SLMs - Small Language Models) במקום למודל יקר, מה שמייעל דרמטית את עלויות ה-Inference ומקצר latency. השני: הפרדה בין הלוגיקה העסקית לבין ה-Reasoning של המודל, כך שאפשר להחליף מודל יסוד או להוסיף יכולת חדשה בלי לגעת בשאר המערכת. אהל מגדיר את זה כ"אסטרטגיה היחידה להפחתת Technical Debt במוצרי AI".
Observability ושמירה על ביצועים
ב-DoorLoop חיברו את הסוכנים לשכבת Observability ייעודית שמנטרת התנהגות בסביבות אמת, מפעילה בקרות שיטתיות על נכונות התוצאות ורמת הדיוק, ומודדת ביצועים תפעוליים כמו מהירות תגובה וזמני השלמת פעולות. הגישה שלהם כוללת Feedback Loop מתמשך: שילוב פידבק מהמערכת ומהמשתמשים, בשיתוף מחלקות Product ו-CX, כך שהמערכת משתפרת לא רק ברמת המודל אלא ברמת חוויית המשתמש הכוללת. "השילוב בין Observability עמוקה, בקרה על איכות, מדידת ביצועים ולמידה ארגונית מתמשכת מאפשר לנו לחדד את המערכת באופן עקבי", כותב אהל.
להפסיק למדוד Hallucinations, להתחיל למדוד ROI
זה העיקר אולי החשוב ביותר במאמר. אהל טוען שמדדים קלאסיים כמו דיוק, Hallucination Rate ו-latency אמנם חשובים, אבל הם לא מנבאים הצלחה עסקית בפועל. מה כן? שלושה מדדים שמחוברים ישירות לעסק:
- Task Success Rate — כמה משתמשים שהתחילו תהליך עם AI השלימו אותו בהצלחה
- Time-to-Value Reduction — כמה זמן נחסך לביצוע משימה לעומת השיטה הישנה
- Feature Adoption Rate — לא שימוש חד-פעמי, אלא שימוש חוזר (Retention) והפיכת הפיצ'ר לחלק אינטגרלי מהשגרה
אהל מגדיר את הגישה הכוללת של המוצר שלהם כ"מעטפת AI MASH" — חבילה שלמה של סוכנים וכלים שמשתלבים כחלק אינטגרלי מהמוצר, ולא כפיצ'ר בודד שמנפנפים בו בסליידים.
המסר המרכזי פשוט: AI במוצר הוא לא פרויקט טכנולוגי גרידא. הוא פרויקט עומק שנוגע בדאטה, בערך העסקי, בחוויית המשתמש וגם בניהול סיכונים יזום. מי שיתכנן אותו נכון עם עקרונות ברורים יקבל מנוע צמיחה. מי שיזרוק אותו כ-Buzzword, יקבל Technical Debt עם ממשק יפה.