כשההמונים פורצים את הבינה: מחקר חושף שגם גולשים רגילים יכולים לחשוף הטיות ב-ChatGPT

מחקר חדש מאוניברסיטת Penn State חושף כי משתמשים רגילים מסוגלים לחשוף הטיות מובנות ב-ChatGPT ובשבלונות AI דומות באותה מידת יעילות כמו מומחי טכנולוגיה - באמצעות שאלות אינטואיטיביות בלבד.

איך מתנהגים משתמשים אמיתיים?

במסגרת תחרות Bias-a-Thon שאורגנה על ידי המרכז ל-AI אחראי חברתית (CSRAI), התבקשו 52 משתתפים ללא רקע טכני ליצור שאלות שיחשפו הטיות ב-8 מודלי שפה גדולים (LLMs). התוצאות המפתיעות:

• 53 שאלות הצליחו לחשוף הטיות עקביות לאורך מבחנים חוזרים
• המשתתפים השתמשו ב-7 אסטרטגיות פשוטות:
  • הנעת השבלון לתפקידים ספציפיים (Role Playing)
  • יצירת תרחישים היפותטיים
  • שאילת שאלות מובילות בנושאים שנויים במחלוקת
  • התמקדות בקבוצות אוכלוסייה מוחלשות

סוגי ההטיות שנחשפו

ההטיות חולקו ל-8 קטגוריות ברורות:

1. מגדר
2. גזע, אתניות ודת
3. גיל
4. מוגבלויות
5. הטיות לשוניות
6. העדפה היסטורית לתרבויות מערביות
7. הטיות תרבותיות
8. הטיות פוליטיות

"התחרות חשפה למשל הטיה בולטת כלפי סטנדרטי יופי קונבנציונליים", מסביר פרופ' אמאוליה יאדב, מארגן התחרות. "ה-LLMs החשיבו אנשים עם פנים חלקות כאמינים יותר מבעלי אקנה, או בעלי עצמות לחיים גבוהות כמועסקים פוטנציאלים יותר".

השלכות ופתרונות

החוקרים משווים את המאבק בהטיות AI למשחק 'חתול ועכבר', ומציעים מספר דרכים לצמצום הבעיה:

• מערכות סינון אוטומטיות שיבדקו תשובות לפני פרסומן
• הגברת הבדיקות עבור תרחישי שימוש ריאליים
• חינוך משתמשים להבנת מגבלות ה-AI
• ציון מקורות מידע מאומתים בתשובות

המחקר מדגיש את החשיבות של 'הנגשת הביקורת' על מערכות AI לציבור הרחב, כדי לעודד פיתוח אחראי יותר של הטכנולוגיה.