גלאי Pangram: דיוק של 99.5%, אבל אפשר לרמות אותו
בדיקות מראות שאפשר להטעות גלאי AI באמצעות החלפה פשוטה של מילים, אף ש-Pangram Labs טוענת לדיוק של 99.5%. החברה גייסה 9 מיליון דולר, משתפת פעולה עם Substack, נמנעת מפיתוח כלי התחמקות ומקדמת שכבת אימות. הדיון באמינותו של תוכן AI נמשך, והאתגרים הטכנולוגיים רק הולכים ומתרחבים.
אם תחליפו כמה מילים פשוטות בטקסט שנכתב על ידי AI, ציון הגלאי יכול להשתנות באופן דרמטי — מ-97% AI ל-45% אנושי. זה מה שהדגימה בדיקה אינטראקטיבית לאחרונה, והיא גם חשפה חולשות בגלאי AI פופולריים.
אבל חברת Pangram Labs טוענת שלמודלים שלה יש דיוק של יותר מ-99.5%, לפי בדיקות פנימיות. החברה גם מסוגלת להבחין בין קטעים שנכתבו בידי אדם לקטעי AI בתוך טקסט, ולשער את מידת המעורבות של AI. מנכ״ל החברה, Max Spero, מסביר שמכיוון שרוב הכתיבה שנוצרת ב-AI מגיעה ממשפחות מודלים כמו ChatGPT, Claude ו-Gemini, הזיהוי קל יותר ממה שחשבו. ״בסופו של דבר, אנחנו עוסקים בבעיית זיהוי המחבר,״ הוא אומר.
Pangram, שנוסדה בסוף 2023, עמדה לפני סגירה, אבל הפופולריות שלה זינקה כשה-AI slop התפשט ברשתות. ביולי השנה החברה גייסה 9 מיליון דולר, פיתחה כלים לזיהוי תמונות AI ומשתפת פעולה עם Substack כדי לשלב את הטכנולוגיה בפלטפורמת הבלוגים.
Spero מדגיש ש-Pangram Labs לעולם לא תשחרר כלי ״humanizers״ שיעזרו לכתיבה שנוצרה ב-AI להתחמק מזיהוי — עיקרון שמתאים לחזון החברה, שלפיו תהיה שכבת אימות בכל שכבה של תקשורת מקוונת, פונקציה שלדבריו צפוי לה שוק גדול יותר בעידן ה-AI slop וההתחזות.
האתגר העמוק יותר של מעקב אחר מידת ההשפעה של AI על רעיונות עשוי להיות בלתי פתיר, במיוחד כשהמודלים משתפרים כל הזמן. אבל אם ה-LLMs אינם סטטיים, גם Pangram לא עומדת במקום.