תוכנה
טכנולוגיית KVzip לדחיסת זיכרון צ'אטבוטים פי 4 - מהפך בעולם ה-LLM
חוקרים פיתחו את KVzip - טכנולוגיית דחיסת זיכרון ל-LLM, שמצמצמת את זיכרון השיחות פי 3–4 ומאיצה תגובות פי 2, ללא אובדן דיוק. המערכת תומכת בהקשרים עד 170K טוקנים ומתאימה למערכות ארגוניות ולמובייל. בנוסף, המעבדה פרסמה מחקרים פורצי דרך בקוונטיזציה, למידת חיזוק וגילוי סיבתיות.