טכנולוגיית KVzip לדחיסת זיכרון צ'אטבוטים פי 4 - מהפך בעולם ה-LLM

חוקרים מאוניברסיטת סיאול חשפו טכנולוגיית AI חדשנית בשם KVzip, שמצליחה לדחוס את זיכרון השיחות של צ'אטבוטים מבוססי מודלי שפה גדולים (LLM) ביחס של 1:3–4, ללא פגיעה ברמת הדיוק.

איך זה עובד?

• המערכת מזהה ומסירה מידע מיותר בזיכרון השיחה (KV Cache), תוך שמירה על ההקשר הרלוונטי.
• הדחיסה מתבצעת פעם אחת ו"משרתת" שאלות עוקבות ללא צורך בעיבוד חוזר.
• התאוצה במהירות התגובה מגיעה עד פי 2.

יתרונות מרכזיים:

• תמיכה בהקשר ארוך במיוחד (עד 170,000 טוקנים).
• תאימות עם מודלים מובילים, דוגמת Llama 3.1, Qwen 2.5 ו-Gemma 3.
• אינטגרציה עם ספריית KVPress של NVIDIA.
• חיסכון משמעותי בעלויות שרתים (עד 75% פחות זיכרון).

יישומים צפויים:

• מערכות RAG (Retrieval-Augmented Generation).
• שירותי צ'אטבוטים מותאמים אישית.
• סביבות Edge Computing עם משאבים מוגבלים (טלפונים, מכשירי IoT).

"KVzip מאפשרת צמצום זיכרון תוך שמירה על מהות ההקשר, אפילו בסיטואציות מורכבות", אמר פרופ' היון אוה סונג, ראש צוות המחקר.

בנוסף לפריצת הדרך הזו, המעבדה פרסמה עוד שלושה מאמרים בולטים:

1. Q-Palette - שיטת קוונטיזציה שמשפרת ב-36% את מהירות המסקנות ב-LLM.
2. Guided-ReST - אלגוריתם למידת חיזוק שמשפר דיוק בחידות לוגיות ב-10%.
3. מחקר חדשני בגילוי סיבתיות ברשתות גנטיות.

הטכנולוגיה צפויה להיטמע במערכות LLM ארגוניות כבר בשנים הקרובות.