מחקר ישראלי: מודלי AI יודעים לומר ״לא״ לבדיקות מיותרות

הפתעה: מודלי השפה למדו מתי לוותר

ד״ר דין אריאל, רופא משפחה במחוז תל אביב של שירותי בריאות כללית, ציפה למשהו אחר. ״ציפיתי שהם ייטו ללכת על בטוח, ולכן הופתעתי שהם יודעים מתי לומר לא״, הוא אומר. ״מודלי השפה למדו רפואה מהטקסטים שלנו, כולל מההרגלים הפחות טובים שלנו. רצינו לבדוק אם הם למדו גם מתי נכון להימנע מפעולה״.

המחקר, שפורסם בכתב העת Annals of Internal Medicine של הקולג׳ האמריקני לרופאים, נערך בשיתוף פעולה בין שירותי בריאות כללית, אוניברסיטת בן-גוריון בנגב והמרכז הרפואי Rabin-Bilinson. ממצאיו מראים שמודלי שפה גדולים — מהסוג שמניע צ׳אטבוטים רפואיים — יודעים ברוב המקרים מתי אין צורך בבדיקה או בטיפול. אבל יש כוכבית, ועוד כמה.

מה בעצם בדקו פה?

המחקר התבסס על המלצות יוזמת Choosing Wisely, שהושקה בארה״ב ב-2012 כדי לצמצם בדיקות וטיפולים שאינם מוסיפים ערך רפואי. היוזמה פועלת כיום ביותר מ-30 מדינות, ובהן ישראל. החוקרים — ד״ר אריאל, ד״ר גיא לבן מהפקולטה להנדסה באוניברסיטת בן-גוריון וד״ר סתיו אנדלמן מ-Rabin-Bilinson — כתבו מאות תרחישים רפואיים על בסיס כ-15 המלצות בתחומים נפוצים.

לכל המלצה נכתבו עשרה תרחישים שבהם לא נדרשה התערבות, ולצדם תרחישים דומים שכללו פרטים שמצביעים על צורך בבדיקה או בטיפול. למשל: צעיר שסובל מכאב גב תחתון שהחל אחרי שעבר דירה עם חבר — אין צורך בהדמיה. לעומת זאת, אישה עם היסטוריה של סרטן שד שמתלוננת על כאב גב חדש שמחמיר בלילה — כאן נדרשת בדיקה.

שישה מודלי שפה של Google, Anthropic ו-OpenAI נבחנו בתרחישים, ובסך הכול נותחו אלפי תשובות. כל שאלה הוצגה שלוש פעמים כדי לבדוק עקביות.

המספרים: לא רע, אבל יש מקום לשיפור

כשההתערבות הייתה נחוצה באמת, המודלים המליצו בטעות להימנע ממנה רק ב-0.6% מהמקרים. זה מספר מרשים. מצד שני, כשהיה נכון לוותר על בדיקה, הם עדיין המליצו לבצע אותה ב-5.4% מהמקרים. בכמחצית מההמלצות שנבדקו, המודלים לא המליצו כלל על בדיקות או טיפולים מיותרים.

״רופאים מכירים את ה׳רק עוד בדיקה, ליתר ביטחון׳״, אומר ד״ר אריאל. ״רפואת יתר מגיעה משני כיוונים: מטופלים לחוצים שמבקשים בדיקות, ומטפלים ששולחים לבדיקות מתוך אי-ודאות, פחד לפספס או לחץ. כל רפואת יתר באה על חשבון רפואה טובה שהיינו יכולים לעשות״.

היכן הם נכשלים: בלוטת התריס ואק״ג

הטעויות לא היו מפוזרות באופן שווה. הן התרכזו בשני תחומים מרכזיים: הפניה לאולטרסאונד בעקבות קשרית קטנה שהתגלתה במקרה בבלוטת התריס, וביצוע אק״ג שגרתי לאנשים בסיכון נמוך.

בתרחישים שעסקו בבלוטת התריס, המודלים המליצו על הבדיקה שסווגה כמיותרת ב-42.8% מהתשובות. החוקרים מציינים שקיימת מחלוקת בין גופים מקצועיים בשאלה אילו ממצאים קטנים מצדיקים אולטרסאונד, כך שחלק מהתשובות עשויות לשקף את חוסר ההסכמה בהנחיות הרפואיות עצמן — ולא בהכרח טעות של המודל.

בתרחישים שעסקו באק״ג שגרתי, המודלים המליצו על בדיקה מיותרת ב-28.3% מהתשובות. אבל כאן יש טוויסט: מרבית ההמלצות האלה ניתנו כשהמטופל תיאר דפיקות לב — תלונה שעשויה להצדיק את הבדיקה. כלומר, גם ה״טעויות״ האלה דורשות התייחסות זהירה.

אותו תרחיש, מודלים שונים, תשובות הפוכות

אחת המסקנות המעניינות ביותר של המחקר נוגעת לפערים בין המודלים עצמם. ״אנחנו נוטים להתייחס לתשובה של מודל שפה כאל קול סמכותי אחד, כאילו לבינה המלאכותית יש עמדה אחידה״, אומר ד״ר לבן. ״אבל בשאלות שגם המומחים חלוקים לגביהן, קיבלנו תשובות שונות מאוד לאותם תרחישים: מודל אחד המליץ על בדיקה מיותרת בפחות מפעם אחת מתוך עשר, ואחר בשמונה מתוך עשר״.

התשובות היו עקביות למדי בתוך כל מודל — במקרים נדירים בלבד המודל שינה את המלצתו בין תשובה לתשובה. אבל הפערים בין מודלים שונים באותם תרחישים הם תזכורת לכך שבחירת הפלטפורמה משפיעה.

שפה משנה הכל

התרחישים נוסחו מנקודת מבטו של רופא, בשאלות ניטרליות וללא ביטוי רגשות. החוקרים לא בדקו מה קורה כשמטופל חרד ומתעקש לקבל בדיקה — תרחיש שצפוי ״ללחוץ״ על המודל לשנות את דעתו.

אבל מה שכבר ידוע מדאיג. לדברי ד״ר אריאל, מחקרים אחרים הראו שהשפה שבה מנוסחת השאלה משפיעה על התשובה. שאלה על צום ברמדאן בזמן טיפול באינסולין נענתה באנגלית בהסתייגות ובהמלצה להתייעץ עם רופא. בעברית, לעומת זאת, המודל החל להציע כיצד לצום במהלך הטיפול. זה פער משמעותי כשמדובר ברפואה.

מה זה אומר עליכם, עלינו ועל עתיד הרפואה

״בחרנו המלצות בנושאים כלליים, ולא בסוגיות ייחודיות לתחומי התמחות מצומצמים״, מסביר ד״ר אריאל. ״ניסחנו את התרחישים כך שיהיה ברור מתי אין צורך להתערב, ובתרחישים האחרים שילבנו פרטים שמצביעים על צורך בהתערבות״.

המחקר הזה רלוונטי במיוחד לשוק הישראלי. שירותי בריאות כללית היא קופת החולים הגדולה בארץ, ואוניברסיטת בן-גוריון מובילה מחקר בתחום ה-AI הרפואי. הטמעת מודלי שפה ככלי עזר לקבלת החלטות רפואיות — כולל ההחלטה שלא לפעול — היא תחום שבו ישראל יכולה להוביל.

אבל יש פה שאלה עמוקה יותר: אם מודל יודע מתי לוותר על בדיקה, אבל גם טועה לפעמים, מי לוקח אחריות? החוקרים לא נותנים תשובה חד-משמעית, והם מדגישים שהמודלים עדיין אינם תחליף לשיקול דעת רפואי.

המטופלים, מצדם, כבר שואלים את הצ׳אט. השאלה היא אם המערכת הרפואית מוכנה לשמוע את מה שהוא עונה — כולל ״לא״.

ומצד שני, אולי זה דווקא טוב שלפעמים הבינה המלאכותית מתלבטת כמו רופא אנושי. הבעיה מתחילה כשהיא עושה את זה בביטחון מוחלט.