OpenAI מאמצת אות משותף לביטול אימון מודלי AI
OpenAI, Google, Microsoft ו-Anthropic התחייבו לתמוך באות משותף בקובץ robots.txt, שיאפשר למפעילי אתרים להביע את העדפותיהם בנוגע לשימוש בתוכן שלהם לאימון מודלי AI. התקן, שהוצע במסגרת IETF, כבר יושם על ידי Anthropic, בעוד שהחברות האחרות צפויות לתמוך בו בשנה הבאה. המהלך נועד לפשט את הטיפול בסורקי AI שאוספים תוכן ללא הרשאה.
כמה פעמים נאלצתם להגדיר את קובץ ה-robots.txt לכל חברת AI בנפרד? החדשות הן ש-OpenAI, Google, Microsoft ו-Anthropic הולכות לשנות את המשחק.
החברות הודיעו על תמיכה באות משותף בקובץ ה-robots.txt, שיאפשר לבעלי אתרים להביע, בפעם אחת, את העדפותיהם לגבי השימוש בתוכן לאימון מודלי AI. האות, המכונה policy token, הוצע במסגרת קבוצת העבודה של IETF על ידי Kevin Kelly מ-Anthropic.
בעלי אתרים כיום נאלצים להגדיר כללים נפרדים לכל סורק AI, אבל האות המשותף מפשט את התהליך. Anthropic כבר יישמה את האות, ו-OpenAI מתכננת ליישם אותו בחודשים הקרובים. Google ו-Microsoft צפויות לתמוך בו בשנה הבאה. Microsoft מציעה גם שליטה מפורטת יותר, כמו ביטול אימון או grounding, אבל האתרים עדיין יופיעו בתוצאות החיפוש של Bing.
המהלך מגיע על רקע החששות הגוברים מסריקת יתר של תוכן על ידי סורקי AI. קיימות חלופות כמו Really Simple Licensing (RSL) או החסימה של Cloudflare, אבל התקן הזה שואף לגישה מאוחדת.
אז אמנם מדובר בצעד וולונטרי, אבל הוא מעניק לבעלי אתרים שליטה ברורה יותר בתוכן שלהם.