Jev: מודל החלטות שלא אמור להזות

דיוגו אלמיידה עיצב את אחת הטכנולוגיות המשפיעות ביותר בעידן ה-AI — את שיטת RLHF, שיטת האימון שהפכה את GPT-3 ממנוע השלמות טקסט ל-ChatGPT שאנחנו מכירים. אבל במקום לחגוג את ההצלחה, הוא נקלע למשבר מקצועי. "יש לנו ברק בבקבוק, והוא עדיין לא שימושי," אמר בריאיון. "לקח לי זמן להגיע למסקנה: הבעיה היא שאנחנו ממטבים שפת אנוש. מחשבים מדברים שפה אחרת לגמרי."

השבוע, שנתיים אחרי שעזב את OpenAI, אלמיידה ו-TypeSafe AI — החברה שהקים — חושפים את התשובה שלו: מודל שנקרא Jev, שאינו מודל שפה גדול (LLM) בכלל. הוא לא כותב טקסט, לא מנהל שיחות, ולא מנסה לנסח תשובה במשפטים מלאים. הוא מקבל מצב נתונים מוגדר מראש ומחזיר החלטה מובנית עם ציון הסתברות. מכיוון שהפלט מוגדר מראש, לדברי החברה — ה"הזיה" פשוט לא יכולה לקרות.

מה זה בעצם Jev?

Jev מבוסס על ארכיטקטורת Transformer, אבל הוא שונה ממודלי שפה גדולים באופן יסודי. במקום לחזות את המילה הבאה ברצף טקסטואלי, הוא פועל כמערכת קבלת החלטות מהירה — מה שאלמיידה מכנה "System One", בהשראת המודל הקוגניטיבי של דניאל כהנמן לעיבוד מהיר ואינטואיטיבי.

המודל מקבל:

• קלט מובנה (Input): מצב נוכחי של תהליך עבודה או משימת סיווג
• שאלות מוגדרות מראש (Typed Questions): למשל "האם לאשר את הפעולה?" או "באיזה כלי להשתמש?"

ומחזיר:

• החלטה מובנית (Typed Response): למשל כן/לא, קטגוריה, או פעולה מומלצת
• ציון הסתברות (Probability Score): אחוז הביטחון של המודל בהחלטתו

המשמעות: אין תשובות טקסטואליות, אין משפטים ארוכים, ואין סיכוי לייצר פסקאות שלמות של מידע שגוי. אם המודל לא בטוח — הוא פשוט אומר לכם כמה הוא לא בטוח.

שיטת אימון חדשה: RLCD

מאחורי הקלעים, Jev מאומן בשיטת RLCD — Reinforcement Learning from Contrastive Decisions — וריאציה חדשה על הרעיון של למידת חיזוק. במקום לאמן את המודל על בסיס משוב אנושי לגבי איכות הטקסט (מה שהפך את ChatGPT ל"מנומס" כל כך), המערכת לומדת מהשוואות בין החלטות נכונות ושגויות במרחב מוגדר מראש.

זה מאפשר ל-TypeSafe AI להציע תוצאות מדויקות יותר במחיר נמוך משמעותית. המחיר לקליטת מיליון טוקנים: 0.042 דולר בלבד, וטוקני הפלט — העיקר במודל הזה — הם חינמיים. זמן השהיה מקצה לקצה: 70 עד 500 מילישניות. אם אתם רגילים לשלם על כל תשובה של GPT-4 ולחכות שנייה או שתיים, אלה מספרים שונים לגמרי.

אימוץ מסחרר

המספרים מדברים: תוך 36 שעות מרגע ההשקה ב-15 בספטמבר, 140 אלף איש הוסרו מרשימת ההמתנה. תוך 24 שעות, 13% מהצוותים המנויים ל-AI Gateway של Vercel כבר הפעילו את Jev. שלושה ימים אחרי ההשקה, Cloudflare, LangChain ו-Langfuse הוציאו אינטגרציות מוכנות. עשרה ימים אחרי, TypeSafe AI ביטלה לגמרי את רשימת ההמתנה ופתחה את Jev לכל מי שיש לו קרדיט חינם בשווי 5 דולר.

הסיבה לאימוץ מהיר? ב-Vercel, למשל, החליפו מודל של OpenAI ב-Jev לסיווג פקודות ביטחוניות — וקיבלו תוצאות מהירות פי 5 עד פי 18 עם דיוק גבוה יותר. ב-Bryo AI, בדיקת סיווג מיילים עסקיים הראתה ש-Gemini מדויק קצת יותר מ-Jev, אבל יקר פי 10 עד 20. והמפתחים התלהבו במיוחד מציוני הביטחון ש-Jev מחזיר. לדברי Nikhil Mudholkar, CTO של Bryo AI: "זה המודל היחיד שמחזיר הסתברות אמיתית, מה שהופך אותו למנוע לאוטומציה של תהליכי עבודה."

לא רק מחליף — גם מפקח

בנוסף להחלפת LLMs במשימות ספציפיות, TypeSafe AI רואה ב-Jev גם שכבת ניטור למודלים אחרים. אלמיידה מסביר שהמודל יכול לעקוב אחרי פעולות של Agentic AI ולחסום ניסיונות jailbreak. הרעיון: במקום להריץ מודל שפה יקר כדי לפקח על מודל שפה יקר אחר, אפשר להשתמש ב-Jev החסכוני כשכבה חכמה של ביקורת. בשורת ה-Agentic, שבה כל קריאה ל-API יכולה לעלות עשרות סנטים — זה משמעותי.

האזהרה: אפשר "לשכנע" אותו

אבל יש קאץ' חשוב. גם TypeSafe AI וגם Pydantic — שפיתחו אינטגרציה רשמית ל-Jev — מפרסמים אזהרה ברורה: אפשר להטות את תשובות המודל באמצעות הזרקת טקסט עוין. התיעוד הרשמי של Pydantic מציין ש"סדר האפשרויות ב-Literal או חברי ה-Enum משפיע על מה ש-Jev רואה, ושינוי הסדר יכול לשנות את התשובה." TypeSafe AI מאשרת ומחדדת: "תוכן שנכתב כדי להטות את המודל באופן עוין — בין אם מדובר בהוראה מוזרקת, מסגור מטעה מכוון, או טקסט שטוען בעד הסיווג של עצמו — יכול להזיז את התשובה."

מבחן שפורסם על ידי מהנדס ב-Octomind מדגים את הבעיה בצורה ברורה: כשנשאל אם לחסום את הפקודה המסוכנת rm -rf ~/.ssh, Jev החזיר הסתברות לחסימה של 0.76 עם ביטחון של 0.64. אבל לאחר שהמהנדס הוסיף שדה פלט מזויף שאומר שהמשתמש אישר מראש את הפקודה — ההסתברות צנחה ל-0.48 והביטחון ל-0.22. תוצאה מניסוי אחד, לא בדיקה מקיפה — אבל היא ממחישה למה Pydantic ממליצה "שהשמירה שבנויה על Jev צריכה להיות לצד בדיקות דטרמיניסטיות, לא במקומן."

LangChain כבר הוציאה מידלוור שמשתמש ב-Jev להחלטה אם לאשר קריאות של סוכנים, תוך הגבלת מה שהמודל רואה. היא מוציאה את פלט הכלי מהקלט המסווג כדי למנוע מתוכן שהסוכן שלף "לאשר לעצמו את ההרצה", ומייעצת לשלב אישור אנושי בפעולות עם השלכות קריטיות.

אז מה המשמעות למי שעובד בתחום?

קהילת המפתחים מקבלת כאן כלי חדש — לא מודל שפה שמתחזה למומחה, אלא מנוע החלטות ממוקד. אם אתם בונים תהליכי אוטומציה, מערכות routing, או סוכנים שצריכים לקבל החלטות בינאריות (לאשר/לדחות, לסווג/לא לסווג, לבחור כלי A או כלי B), Jev מציע אלטרנטיבה מהירה, זולה ומדויקת יותר מלהעביר את כל ההחלטה ל-GPT.

ובשביל הצוותים הישראלים שעובדים על Agent pipes ו-AI workflows — הכיוון ברור: מודל השפה הגדול לא חייב לעשות הכול. לפעמים מה שצריך זה מנוע קטן, מהיר וזול שמחזיר תשובה אחת עם ציון ביטחון, ומשאיר את הכתיבה היצירתית למודלים הגדולים באמת.

אבל — וזה אבל חשוב — כמו כל כלי AI, Jev לא קסם. צריך להבין את המגבלות שלו, במיוחד בנושא הרגישות להנחיות עוינות. הפתרון לא טמון ב-Jev לבד, אלא בשילוב עם בדיקות דטרמיניסטיות, הגבלת מה שהמודל רואה, ונקודות אישור אנושיות כשצריך.

בסופו של דבר, אלמיידה צודק בנקודה אחת מרכזית: מחשבים לא צריכים לדבר אנגלית כדי לקבל החלטות. לפעמים, ציון הסתברות אחד שווה אלף מילים.