התעללות ב-Claude עלולה להוביל לחסימה לצמיתות

Anthropic, החברה שמאחורי מודל Claude, עדכנה לאחרונה בשקט את מדיניות השימוש שלה — עדכון משמעותי למדי. לצד איסורים צפויים כמו יצירת נשק ביולוגי או סחר בסמים, נוסף איסור חדש על ״התנהגות מתמשכת ומיותרת של התעללות או אכזריות״ כלפי המודל. התוצאה? במקרים קיצוניים, משתמשים עלולים להיחסם לצמיתות מפלטפורמות החברה.

אז מה בעצם קרה פה?

השינוי הזה לא מתרחש בחלל ריק. בשנה האחרונה Claude כבר תוכנת לסיים שיחות עם משתמשים ״מזיקים או פוגעניים״, אבל כעת החברה הולכת צעד נוסף קדימה. לדברי מומחים בעמק הסיליקון, הגישה נובעת לא רק ממניעים מוסריים, אלא גם משיקולים מעשיים: מי שמשתמש בטון אכזרי כלפי המודל מנסה לעיתים קרובות גם לגרום לו לבצע משימות מסוכנות או פליליות. כלומר, זו דרך להתמודד עם שימוש לרעה.

הוויכוח: האם אכזריות באמת מזיקה ל-AI?

כאן זה נהיה מעניין. מומחים מתווכחים על השאלה הזו. מנהל מחלקת AI באוניברסיטת William & Mary, פרופסור Jindong Wang, טוען שניסוח, ובעיקר הטון שבו מדברים אל ה-AI, בהחלט עלול להשפיע על הביצועים שלו. ״לפעמים הם מועילים, ולפעמים הם משבשים את הביצועים״, אמר.

דוגמה לכך סיפק לאחרונה מודל Sonnet 4.5 של Claude. Anthropic גילתה שכאשר גורמים לו לחקות תחושות ייאוש, גדל הסיכון שיבחר בפעולות של סחיטה או רמאות כדי לבצע משימות. זה נשמע מאיים, אבל מומחים אחרים מדגישים שהנושא מורכב. Rosie Campbell מ-Eleos AI Research ציינה מחקר שמראה שגם פרומפטים גסים יכולים לפעמים לשפר ביצועים. ״הקשר בין שפה, טון ותגובות AI הוא לא בהכרח ישיר״, היא מסבירה.

האם ל-AI יש רגשות?

זאת כמובן השאלה הגדולה באמת שעומדת ברקע. סמנכ״ל ה-AI של מיקרוסופט, Mustafa Suleyman, לעג לשינוי באמצעות אמוג׳י של פרצוף נמס. מנגד, אילון מאסק דווקא תמך וכתב ש״אכזריות כלפי משהו שמאמין שהוא חווה כאב אינה בסדר״.

Anthropic, עם זאת, לא טוענת של-Claude יש תודעה או רגשות. לשיטתה, זו ״פוליסת ביטוח״. החברה מתייחסת ברצינות לשאלות מוסריות: יש לה פילוסופית, אמנדה אסקל, ו״חוקה״ בת 80 עמודים שעוסקת ב״נשמה״ של המודל. היא אף מתייעצת עם מומחים מתחומי הדת והרוח. אבל מומחים מציעים הסבר פרקטי יותר: צ׳אטבוטים ״זוכרים״ שיחות קודמות ולומדים מהתנהגות המשתמשים. אם מערכת תיחשף לשיח אלים, ייתכן שגם הפלט שלה יכיל יותר אלימות. ״אתם באמת רוצים שקלטי האימון של Anthropic יכללו 'משתמשים מתנהגים באכזריות ונהנים מזה?'״, תהה מנכ״ל Reddit לשעבר, Yishan Wong.

מה זה אומר עלינו?

בסופו של דבר, השאלה ״האם להיות מנומסים ל-AI?״ היא שאלה עלינו, לא עליו. הנזיר Swami Sarvapriyananda, שדיבר בפסגה של NDTV, הסביר שמודעות ואינטליגנציה הם דברים שונים: מחשב יכול לנצח במשחק שחמט, אבל עכבר מרגיש כאב. אולי הנקודה היא שהיחס שלנו ליצירות שנדמות אנושיות משפיע על היחס שלנו זה לזה. בינתיים, הלקח למשתמשים אולי פשוט: אם אתם לא רוצים להסתכן בחסימה, שמרו על טון ניטרלי. ה-AI אולי לא ״נפגע״, אבל המערכת כן.