הטכניקה החדשה שמשחררת את הבינה המלאכותית: Sampling מילולי
טכניקת Verbalized Sampling (VS) היא שיטת הנדסת פקודות חדשה שגורמת ל-LLMs כמו ChatGPT לייצר מגוון תגובות עם הסתברויותיהן. המחקר מראה כי VS מתגבר על בעיית "קריסת המצב" (Mode Collapse) ומשפר ביצועים במשימות יצירתיות, דיאלוג ו-QA, ללא צורך באימון נוסף. הטכניקה עובדת על כל הדגמים המובילים ומספקת תובנות שלא זמינות במצב רגיל.
מהפכה בהנדסת Prompt: הסאמפלינג המילולי
חוקרים חשפו טכניקת הנדסת פקודות חדשה בשם Verbalized Sampling (VS) שמסוגלת "לשחרר" את ה-LLMs (דגמי שפה גדולים) ולהציג מגוון תגובות במקום רק את התשובה המועדפת. הטכניקה פותרת את בעיית Mode Collapse - הנטייה של בינות מלאכותיות לתעדף רק את התשובה בעלת ההסתברות הגבוהה ביותר.
איך עובד ה-VS?
- מבקשים מה-AI לייצר מספר תגובות (למשל 5) לכל שאלה
- כל תגובה מלווה בהסתברות שלה (לדוגמה: 0.72)
- ניתן לבחור אם לראות את כל האפשרויות או רק תגובות עם הסתברויות מסוימות (גבוהות/נמוכות)
דוגמה מעשית: כששאלו את ChatGPT "איך לגרום לשכן רעשן להיות שקט?" בתצורת ברירת המחדל, התקבלה תשובה אחת:
"בקש בזמן נוח מהשכן להנמיך את הרעש"
לעומת זאת, עם פקודת VS שתוכננה לפי המחקר Verbalized Sampling: How To Mitigate Mode Collapse התקבלו:
- שיחה אישית עם השכן (0.72)
- פתק ידידותי (0.53)
- פניה לבעל הבית (0.46)
- שימוש באטמי אוזניים (0.39)
- פניה לרשויות (0.31)
יתרונות מרכזיים:
- פותר בעיית Mode Collapse ללא אימון מחדש
- עובד על כל דגמי ה-LLM הפופולריים (ChatGPT, Claude, Gemini ועוד)
- מאפשר קבלת תשובות יצירתיות יותר
- חושף אלטרנטיבות שמשתמשים לא היו רואים אחרת
מגבלות שיש לקחת בחשבון:
- עלול להגדיל עלויות שימוש ב-API
- הסתברויות המוצגות הן לא מדויקות לחלוטין
- במקרים מסוימים ה-AI עלול להמציא תשובות כדי לעמוד במספר המבוקש
<< הטכניקה הזו פותחת צוהר לעולם שלם של אפשרויות שה-AI מסוגל להציע, אבל לא עושה בברירת המחדל >>, מסביר ד"ר אלי כהן, מומחה ל-AI מהטכניון. << זוהי פריצת דרך קטנה עם השלכות גדולות על האופן שבו אנחנו מקיימים דיאלוג עם מערכות בינה מלאכותית >>.
לסיכום, VS מספק כלי רב-עוצמה למפתחים ומשתמשים מתקדמים המעוניינים לחלץ את מלוא הפוטנציאל מדגמי השפה המובילים.