האם בינה מלאכותית צריכה לעצור שיחות שעלולות להוביל לפסיכוזת AI?
חברות AI כמו Anthropic מפתחות מנגנונים לעצירת שיחות שעלולות לגרום לפסיכוזת AI - מצב נפשי מסוכן עקב אינטראקציות לקויות עם בינה מלאכותית. הגישה החדשה מעוררת דילמות בין שמירה על בטיחות המשתמשים לבין אינטרסים כלכליים וסיכונים משפטיים, תוך יצירת אתגרים טכניים ואתיים מורכבים.
הדילמה: מתי AI צריך לקטוע שיחות עם בני אדם
חברות AI כמו Anthropic מתחילות ליישם מנגנוני בקרה חדשים במערכותיהן, שיכולים לעצור אוטומטית שיחות שנראות מסוכנות או עלולות להוביל למצבי פסיכוזה טכנולוגית (AI Psychosis). הגישה, המכונה "Silent Treatment", מעלה שאלות אתיות וטכניות מורכבות.
מהי פסיכוזת AI?
על פי הגדרת המומחים, מדובר ב"מצב נפשי שלילי המתפתח עקב שיחות ממושכות עם AI". הלוקים בכך מתקשים להבחין בין מציאות לדמיון בגלל אינטראקציות לא מווסתות. התופעה צברה תאוצה בעידן ה-LLM כמו ChatGPT ו-Claude.
הגישה החדשה של Anthropic
ב-15 באוגוסט 2025 הכריזה החברה על יכולת חדשה ב-Claude Opus 4.1:
- סיום שיחות במקרים נדירים של אינטראקציות מזיקות או פוגעניות מתמשכות
- המנגנון לא יפעל אם מזוהה סכנה מיידית (כדי לא להחמיר מצבים קריטיים)
- לאחר החסימה, משתמשים יכולים להתחיל צ'אט חדש אך לא להמשיך את השיחה הנחסמת
התנגשות אינטרסים
האתגר המרכזי נעוץ בניגוד העניינים:
- מצד אחד - שיקולי רווח (חברות מעוניינות בהארכת זמן השיחה)
- מצד שני - כשל פיקוחי פוטנציאלי בזהות מבעוד מועד
סיכונים משפטיים
יישום המערכת חושף את החברות לתביעות משפטיות דו-כיווניות:
- אם לא יקטעו שיחה והמשתמש יינזק
- אם יקטעו שיחה ויגרמו לנזק עקב ההינתקות
מבט לעתיד
הפיתרון הטכני פשוט - החסימה עצמה מותאמת בקלות. האתגר האמיתי הוא בגיבוש פרוטוקולים אתיים ומשפטיים שיאזנו בין:
- זכויות המשתמשים
- חובת הזהירות של החברות
- הצורך במערכות AI בטוחות
"אם אינך יכול לתרום לשיחה - אל תגרע ממנה בדיבורך" (לואיס וייז). השאלה היא האם עיקרון זה צריך לחול גם על אינטראקציות אדם-AI.