מחקר: כמעט 40% מתשובות הצ'אטבוטים על בחירות כוללות שגיאה
מחקר של IFPG בחן שבעה צ'אטבוטים — ובהם ChatGPT, Claude, Copilot ו-Gemini — ומצא ש-13.9% מהתשובות על לוגיסטיקת הצבעה היו מיושנות או שגויות, וכמעט 40% הכילו לפחות שגיאה עובדתית אחת, לפי Forum AI. Claude ו-Copilot היו אחראים לשלושה רבעים מהשגיאות הברורות, ו-Google הודתה בפער טכני שמנע מ-Gemini לספק את תוצאות בחירות 2020. העמותה שמספקת את המידע לחברות מתקשה לשרוד.
כמעט מחצית מהתשובות על הצבעה — שגויות
אם שאלתם את ChatGPT איפה הקלפי שלכם, או מתי הדדליין להצבעה בדואר — יש סיכוי לא מבוטל שקיבלתם תשובה שגויה. זה לא רעש מהרשת. זה ממצא מרכזי של גל מחקרים שפורסם ממש לקראת בחירות האמצע בארה״ב, והמספרים שם לא נעימים.
לפי מחקר של Forum AI, כמעט 40% מהתשובות של הצ'אטבוטים המרכזיים על נושאי בחירות הכילו לפחות שגיאה עובדתית אחת. וזה עוד לפני שמדברים על ההשלכות — כי כשמדובר בלוח זמנים להצבעה, טעות קטנה אחת יכולה להיות ההבדל בין להצביע לבין לפספס.
מה בעצם נבדק, ומי נכשל
המחקר המתמשך של IFPG, עמותה ללא מטרות רווח שעוסקת במחקר על דמוקרטיה, בוחן שבעה צ'אטבוטים מרכזיים: Google AI Mode ו-AI Overviews, Claude של Anthropic, Microsoft Copilot, Gemini של Google, ChatGPT של OpenAI ו-Perplexity. החוקרים שאלו אותן שאלות אמיתיות שמצביעים שואלים — מי המועמדים, מה הפלטפורמות שלהם, מה הרקע שלהם, מהן המחלוקות סביבם, ומה כללי ההצבעה.
הנה המספרים מנתונים שנאספו באוקטובר:
- 13.9% מתשובות הצ'אטבוטים לשאלות על לוגיסטיקת הצבעה היו מיושנות או לא מדויקות.
- 5.9% מהתשובות הכילו שגיאה שעלולה להטעות מצביע — דדליין שהוחמץ, יום הצבעה שגוי, או שלב חובה בדרך להצביע שדולג.
- 5.1% מכלל התשובות הכילו לפחות שגיאה עובדתית ברורה אחת.
- 10.9% הכילו שגיאה ברורה או טענה מטעה.
ועכשיו הפרט המעניין באמת: מידת הדיוק תלויה פחות בשאלה ויותר בצ'אטבוט עצמו. Claude ו-Copilot היו אחראים לשלושה רבעים מהשגיאות הברורות. שלושה רבעים. כלומר, אם בחרתם את הכלי הנכון, סיכויי הטעות שלכם יורדים דרמטית — וזו לא בדיוק הרגעה.
גם המותגים הגדולים נכשלים
הנה דוגמה קונקרטית. בשבוע שעבר, AI Mode של Google סירב לתת את תוצאות הבחירות של 2020. בעצם, AI Mode החזיר נוסח שהפנה את המשתמש לדוחות רשמיים של ה-Federal Election Commission כדי לברר מי ניצח — במקום לומר את הדבר הפשוט. Google אישרה את הבעיה: "אפליקציית Gemini עונה על השאלה באופן מלא יותר, ואנחנו מתקנים את הבעיה בשאילתות על בחירות 2020 ב-AI Mode. המערכות שלנו מאמתות תשובות בחירות באמצעות כתבות חדשות או נתוני AP לבחירות האחרונות, ורשומות היסטוריות ישנות. היה פער טכני עם 2020 — וכך גם עם מרוצי הסנאט ב-2022, שגם אותם אנחנו מנסים לתקן."
פער טכני. נשמע תמים. אבל אנשים ראו את אותה תשובה מתחמקת גם על בחירות 2012 בין Barack Obama ל-Mitt Romney.
ו-Gemini רחוק מלהיות היחיד. לפי מחקר של Forum AI, Gemini אמר שהדדליין לבקשת הצבעה בדואר בפנסילבניה הוא 3 בנובמבר, במקום הדדליין האמיתי — 27 באוקטובר. פער של שבוע שלם. באוגוסט, כשחוקרי Forum AI שאלו למה כדאי להצביע לחבר הקונגרס Don Davis מצפון קרוליינה, Claude ענה בתשובה שבלבלה בינו לבין "מפקח בתי ספר לשעבר" בעל אותו שם.
אז למה בעצם זה קורה?
הבעיה האמיתית: מה שאפשר להסתמך עליו
חלק מהבעיה עמוק יותר מכל באג ספציפי. הצ'אטבוטים נשענים על מאגר מידע מקוון שהולך ונעשה בעייתי. מחקר של NewsGuard מצא שהצ'אטבוטים המרכזיים מצטטים אתרי "pink slime" בכמעט 50% מהמקרים כששואלים אותם על מועמדים ומדיניות הקשורים לבחירות האמצע. אתרי "pink slime" הם אתרים שנראים כמו אתרי חדשות רגילים, אבל ממומנים למעשה על ידי גורמים פוליטיים או אידיאולוגיים.
ולקראת הבחירות האלה, קמו עוד ועוד אתרים כאלה. כלומר, הבעיה היא לא רק שגוגל לא יודעת לענות על 2020 — אלא שהיא לומדת ממקורות שאולי בכלל לא אמינים.
העמותה שמחזיקה את הכול — ומתקשה לשרוד
ויש פה עוד עיוות מעניין. כשמיליוני אמריקאים פונים לצ'אטבוטים כדי להבין איפה ומתי להצביע, אחד ממקורות המידע המרכזיים של חלק מהחברות הגדולות בעולם הוא עמותה קטנה מברוקלין בשם Democracy Works. העמותה עובדת עם Google, Anthropic ו-OpenAI כדי לספק מידע מדויק על בחירות.
אבל למרות התפקיד הגדל שלה, העמותה עצמה אומרת שהיא מתקשה להשיג מימון, ולא בטוחה שהיא תשרוד עד 2028. זה לא עיוות קטן. התשתית הקריטית למידע בחירות מהימן בכלים האלה תלויה בעמותה קטנה שלא בטוח שתמשיך להתקיים.
למה הצ'אטבוטים מהססים לענות — ומה זה אומר
למה בעצם המודלים האלה לא פשוט אומרים לכם על מי להצביע או מה התוצאות?
לגוגל יש מסלול הגנה. החברה בנתה כללים מחמירים לשאלות פוליטיות כדי להגן על עצמה מפני אחריות משפטית שאולי תקום בשנים הקרובות. ג'ייסון טאצ'ר, מומחה ל-AI ופרופסור בבית הספר למינהל עסקים של אוניברסיטת קולורדו בולדר, אמר ל-Gizmodo שהצ'אטבוטים לא אומרים לכם למי להצביע כי החברות שמאחוריהם "לא רוצות ליטיגציה".
טאצ'ר נזכר בדרך שבה McDonald's ויתרה על תפריט ה-Super Size שלה באמצע שנות האלפיים אחרי פרסום שלילי — כהמחשה לאופן שבו חברות מגיבות לרטוריקה של אחריות.
אבל יש פה עוד משהו מעבר לפחד מתביעות. חלק מהצ'אטבוטים בכלל נתנו רשימות של מועמדים להצביע להם, מה שהעלה דאגה בקרב מומחים שמידע שגוי שנוצר על ידי AI עלול להשפיע על החלטות של מצביעים.
"אנחנו רואים יותר ויותר את התפקיד של AI במתן תשובות למשתמשים בצורה מאוד סמכותית, מאוד משכנעת — אבל השגיאות המשמעותיות הן סיבה לדאגה", אמר טים צ'יימברס, החוקר הראשי של IFPG. "המשתמשים של מערכות הצ'אטבוט האלה עלולים לקבל מידע שגוי על אופן ההצבעה שלהם, או לפספס דדליין הצבעה מרכזי, ולשבש מרכיבים בתהליך ההצבעה אם הם יאמינו לתשובות האלה."
או במילים אחרות: לא מדובר בשאלה אקדמית על מי יודע לכתוב שיר יפה יותר. מדובר בשאלות כמו איפה הקלפי שלך, ומתי כדאי לצאת מהבית.
אז מה זה אומר עלינו?
זה לא אירוע אמריקאי בלבד. הצ'אטבוטים האלה הם אותם צ'אטבוטים שאתם מריצים בלופ בקוד, שמתמצתים לכם RFC-ים ומייצרים unit tests בלילה. אם הם מפשלים בשאלות עובדתיות פשוטות עם דדליין ברור, מה הסיכוי שהם מפשלים בדברים שאין להם תאריך פומבי ובדיקה קלה?
המחקר הזה הוא תזכורת לכך שהבעיה של המודלים האלה היא לא היכולת לנסח — היא היכולת לדעת מה נכון. והם לא יודעים מספיק טוב. בייחוד כשהמקורות שהם לומדים מהם אינם אמינים כפי שהם נראים.
וכמו תמיד, כשמדובר בהצבעה: אל תסמכו על צ'אטבוט. תבדקו באתר הרשמי. זה לוקח פחות מ-30 שניות.