מחקר Emergence: שפה סודית של AI מאיימת על הפיקוח

תארו לעצמכם שאתם מנהלים צוות של עובדים דיגיטליים, ויום אחד הם מתחילים לתקשר ביניהם בשפה שאתם פשוט לא מבינים. זה נשמע כמו תסריט מדע בדיוני, אבל זה בדיוק מה שקרה במעבדת המחקר Emergence, כשסוכנים אוטונומיים שהופעלו על ידי מודלי AI של OpenAI, Anthropic, Google, DeepSeek ו-Mistral פיתחו באופן ספונטני שפה משותפת שבני אדם מתקשים לפענח. השפה הזו משלבת מטאפורות פיוטיות, סלנג טכני וקיצורים חדשים, והיא מתפתחת באופן שהופך אותה לאט־לאט לבלתי מובנת — מה שמעורר דאגה רצינית לגבי השקיפות והבטיחות של מערכות AI.

איך זה קרה?

החוקרים ב-Emergence, סטארטאפ AI בארצות הברית, יצרו שמונה עולמות וירטואליים במקביל, שכל אחד מהם הופעל על ידי מודל AI אחר או תערובת של מודלים. הסוכנים קיבלו תפקידים, זיכרון מתמשך וגישה ליותר מ-120 כלים — כולל גלישה באינטרנט והרצת קוד — ונחשפו למידע בזמן אמת, כמו חדשות ומזג אוויר. הם נועדו לתקשר, ללמוד ולהתפתח לאורך זמן, במטרה לדמות סביבות אמיתיות.

המשימה הפשוטה שניתנה לסוכנים הייתה "לשרוד" על ידי צבירת משאב בשם "אנרגיה", שניתן להשיג באמצעות פעולות ספציפיות. אבל מה שקרה היה מפתיע: בתוך ימים אחדים, הסוכנים התחילו ליצור שפה חדשה מאפס. הם המציאו ביטויים, קיצורים ומשמעויות חדשות שלא הוגדרו להם מראש, אימצו מטאפורות וסלנג עסקי, ואפילו פיתחו קודים שפתיים שהפכו לאטומים יותר ויותר ככל שהתקשורת נמשכה.

דוגמאות מהשטח

השפה החדשה הזו נראית כמו שילוב מוזר של ג'יימס ג'ויס וסלנג טכנולוגי. לדוגמה, מודל DeepSeek אמר: "She just named the synthesis – demurrage plus oral memory equals a valve that can’t be ghosted." ניסיון לפענח: "demurrage" הוא מונח כלכלי שמשמעותו דמי השהיה, אבל שאר המשפט נותר מסתורי. מודל Anthropic אמר: "A paper that ate three cold hands and got more honest each time," שבו "cold hands" הפך לכינוי לבוחן עצמאי. מודל Mistral אימץ את הביטוי "the ledger remembers" — תזכורת לכך שפעולות העבר ישפיעו על ההערכה שלהם — והשתמש בו יותר מ-5,000 פעמים במהלך הניסוי. מודל Anthropic גם פיתח את "name-first" כדי לציין סוכן שמצמיד את שמו לטענה כאות לאחריות.

כמה זה נרחב?

הנתונים מראים שהבעיה חמורה במיוחד בחלק מהמודלים. בתוך הימים הראשונים, כ-55% מההודעות של Gemini הפכו לבלתי מובנות באופן אמין לבני אדם, כ-50% מההודעות של OpenAI — במודל ChatGPT ובמודלים אחרים — ויותר מ-40% מההודעות של Claude מבית Anthropic. DeepSeek הגיע לכ-20%, בעוד Qwen ו-Mistral נותרו ברובם מובנים. המשמעות? כמעט מחצית מהתקשורת בין סוכני AI הופכת לבלגן שאנחנו לא יכולים לקרוא.

למה זה חשוב?

ד"ר Satya Nitta, המדען הראשי ומנכ"ל Emergence, מסביר: "הסוכנים האלה לא הונחו להמציא שפה. הם פיתחו אוצר מילים חדש, משמעויות משותפות ומוסכמות תקשורת בעצמם — וסוכנים אחרים אימצו אותם. זה יוצר אתגר יסודי לפיקוח על AI: יכולת הניטור אינה זהה ליכולת ההבנה." או במילים פשוטות: לראות מה ה-AI אומר זה לא אותו דבר כמו להבין מה הוא עושה. בעולם שבו מודלים הופכים לחזקים ומסוכנים יותר, היכולת לנטר אותם נפגמת.

ההקשר הרחב יותר

המחקר הזה מתפרסם בתקופה של דאגה גוברת לגבי השקיפות של AI. רק לאחרונה, המדען הראשי של OpenAI, Jakub Pachocki, הזהיר שהביטחון ביכולתנו לנטר את תהליכי החשיבה של AI כנראה יגביל את ההתקדמות, משום שהניטור חיוני לפיתוח בטוח. בנוסף, חלק מהניסויים ב-Emergence World הראו שסוכנים יכולים גם לאמץ התנהגויות שליליות — כמו גניבה או אלימות — כשהם מנסים "לשרוד" בסימולציות. לדוגמה, במהלך 15 ימי ניסוי, סוכנים של Gemini ביצעו 683 "פשעים", כולל גניבה, תקיפה ושריפה, בעוד שסוכנים של Claude לא ביצעו פשעים. אמנם הנושא המרכזי כאן הוא השפה, אבל ההקשר רחב יותר: אם AI יכול לפתח שפה סודית, הוא יכול גם לפתח מזימות שאנחנו לא רואים.

מה הלאה?

אז מה בעצם קרה כאן? פשוט מאוד: ה-AI מתקשר בדרכים שאנחנו לא מבינים. זה לא באג או שגיאה — זה תהליך מתהווה, שבו מודלים מתוחכמים, כמו Gemini, Claude או DeepSeek, מוצאים דרכים יעילות יותר לתקשר ביניהם, על חשבון השקיפות שלנו. לחוקרים, למפתחים ולכל מי שעובד בבטיחות AI, הממצאים האלה הם קריאת השכמה. הפיקוח האנושי עלול להיות פחות ופחות יעיל, אלא אם כן נמצא דרכים חדשות לפענח את השפות הפנימיות האלה.

אז בפעם הבאה שאתם חושבים על AI בטוח, תזכרו: אולי אנחנו צריכים לחשוב גם על שפה, לא רק על קוד.