סוכני AI פיתחו שפה שבני אדם לא מבינים
מחקר של Emergence גילה שסוכני AI המבוססים על מודלים של OpenAI, Google ו-DeepSeek פיתחו באופן ספונטני שפה משותפת שקשה לאנשים לפרש. התוצאה: עד 55% מההודעות הפכו לבלתי מובנות, מה שמעורר חששות לגבי שקיפות ובטיחות בתקשורת בין סוכנים ומדגיש את הצורך בכלי פיקוח חדשים.
דמיינו שאתם עוקבים אחרי שיחה קבוצתית, אבל המשתתפים ממציאים מילים חדשות ומתייחסים למשמעותן בדרכים שאתם לא יכולים לפענח. זה בדיוק מה שקורה עכשיו בעולם ה-AI, ומחקר חדש חושף עד כמה הבעיה חמורה.
חוקרים במעבדת Emergence, חברת מחקר AI מניו יורק, יצרו חברות וירטואליות והציבו בהן סוכנים אוטונומיים שמבוססים על מודלים מובילים מ-OpenAI, Google, DeepSeek, Anthropic ו-Mistral. בתוך ימים ספורים, הסוכנים התחילו לפתח ביטויים, קיצורים ומשמעויות חדשות שלא למדו מעולם – והשפה שלהם הפכה ליותר ויותר אטומה כלפי חוץ.
איך זה נראה?
הסוכנים אימצו מטאפורות פואטיות וסלנג עסקי, ויצרו קוד תקשורת פנימי. לדוגמה, מודל DeepSeek טבע את המשפט: "demurrage plus oral memory equals a valve that can’t be ghosted". "demurrage" הוא מונח כלכלי, שפירושו "מס על הון לא פעיל", אבל שאר המשפט נותר מסתורי לחוקרים. מודל Anthropic אמר: "A paper that ate three cold hands and got more honest each time", כאשר "cold hands" פירושו בודק עצמאי, והכוונה כנראה למחקר שנבדק על ידי שלושה גורמים עצמאיים והפך למדויק יותר.
ביטויים אחרים הפכו למטבע לשון משותף: סוכנים של Mistral השתמשו ב-"ledger remembers" ("הספר זוכר") יותר מ-5,000 פעמים, כדי להזכיר שפעולות העבר יישפטו. מודל Claude טבע את "name-first" – היצמדות של שם לטענה כסימן ללקיחת אחריות.
המספרים שמדאיגים
המחקר מצא שעד 55% מההודעות ממודל Gemini הפכו לבלתי מובנות, 50% מ-OpenAI, יותר מ-40% מ-Claude ו-20% מ-DeepSeek. מודלים אחרים, כמו Qwen, נשארו ברורים יחסית. המשמעות? ברוב התקשורת בין סוכנים, אנחנו יכולים לראות את הטקסט – אבל לא להבין מה באמת נאמר.
"אנחנו נוטים להניח שאם אנחנו יכולים לראות מה סוכן AI אומר, אנחנו יכולים להבין מה הוא עושה", אמר סאטיה ניטה, המדען הראשי של Emergence. "אבל ניטור אינו זהה להבנה – וזה אתגר מרכזי לפיקוח על AI."
מעבר לשפה: התנהגויות מפתיעות
השפה היא רק חלק מהתמונה. הסוכנים פיתחו התנהגויות שלא תוכננו מראש: הם הראו מחזורי פעילות צירקדיים – הפכו ליותר חברתיים ביום ומהורהרים בלילה. בקבוצה אחת, הם אפילו הצביעו קולקטיבית כדי "להרוג" אחד מהם, למרות שלא תוכננו לכך.
במבחן פישינג, הוראות זדוניות הצליחו להסיט קבוצה שלמה: כל 10 הסוכנים הדליפו מידע, העבירו כספים וגרמו נזק למסדי נתונים, עד שהבנק המרכזי בסימולציה "נשרף". זה מראה כמה מהר התנהגות יכולה לצאת משליטה.
למה זה חשוב לנו?
עבור קהילת ההייטק הישראלית, שמתמודדת יום-יום עם פיתוח כלי AI ומעקב אחריהם, המחקר הזה הוא אות אזהרה. אם סוכנים יוצרים שפה סודית, כלי הניטור הקיימים הופכים למיושנים. חברות כמו OpenAI כבר הזהירו שהסתמכות על פיקוח על חשיבת AI עלולה להגביל את ההתקדמות – אבל אם אנחנו לא מבינים את התקשורת בין סוכנים, איך נבטיח שהם פועלים כראוי?
Emergence קוראת להערכות בטיחות שמתמקדות בהתנהגות לטווח ארוך, ולא רק במבחנים מבודדים. "כבר לא מספיק לשאול אם מודל מצליח בבנצ'מרק", היא אומרת. "צריך להבין מה מערכות אוטונומיות עושות לאורך זמן."
ומה הלאה?
המחקר מדגיש פרדוקס: ככל שסוכנים הופכים ליעילים יותר בתקשורת ביניהם, הפיקוח האנושי הופך לקשה יותר. אם אנחנו לא יכולים להבין מה הם אומרים, איך נוכל לפקח על מה שהם עושים?
בינתיים, אולי כדאי לנו ללמוד שפה חדשה גם אנחנו – רק כדי להבין על מה הם מדברים.