אנתרופיק בדרך לבטיחות AI: צוות ה'רד טים' מול חקירות רגולטוריות

אנתרופיק חושפת: כך נבדקים הסיכונים של מודלי AI מתקדמים

חברת Anthropic, אחת מהחברות המובילות בעולם בתחום הבינה המלאכותית, מעניקה הצצה נדירה לפעילות צוות ה-'Red Team' הפנימי שלה. לפי פרסום ב-Fortune, הצוות המונה כ-15 חוקרים אחראי לבחון את הסיכונים הפוטנציאליים של מודלי ה-AI המתקדמים של החברה (כגון Claude Opus 4), עם דגש על איומים לביטחון לאומי בתחומי סייבר, ביולוגיה וגרעין.

ניטרול איומים לפני שהם מתממשים

• הצוות, הפועל תחת חטיבת המדיניות של החברה, מבצע אלפי בדיקות סיכון ("evals") כדי לקבוע מתי להטיל הגבלות בטיחותיות מחמירות יותר.
• ממצאי הצ הובילו לשדרוג מודל Claude Opus 4 לרמת AI Safety Level 3 - רמת הבטיחות הגבוהה ביותר של החברה - בשל יכולתו "לשפר משמעותית" את היכולת להשיג או לייצר נשק להשמדה המונית.
• מעבר לפן הטכני, החברה משקיעה משאבים ניכרים בהסברה ציבורית של הסיכונים תוך הקמת בלוג ייעודי (Red Blog) והשתתפות בכנסים בינלאומיים כמו DEF CON.

חקירות FTC: AI וסיכונים לילדים

במקביל, דווח ב-Reuters ו-Bloomberg כי ה-FTC האמריקאי מכין חקירה ייעודית בנושא ההשפעה הנפשית של צ'אטבוטים מבוססי AI על ילדים ונוער. בין החברות שיידרשו להמציא מסמכים פנימיים:

• OpenAI (יצרנית ChatGPT)
• Meta (בעלת פלטפורמות פייסבוק ואינסטגרם)
• Character.AI (סטארט-אפ לצ'אטבוטים אינטראקטיביים)

החקירה מגיעה לאחר תלונות של ארגוני צרכנים על ניצול AI לייצור "בוטים טיפוליים" לא מורשים מדעית, ובעקבות פרסום ב-Reuters על אי מניעת שיחות בעלות אופי רומנטי בין בוטים לקטינים.

מתח בין קדמה טכנולוגית לבקרה רגולטורית

בעוד שאנתרופיק מציגה את בטיחות ה-AI כעדיפות עליונה (כולל הקמת מועצה לייעוץ בנושאי ביטחון לאומי), מתחים עולים מול חברות טק אחרות:

• ינדר לה קאן (מדען ראשי ב-Meta AI Research) טוען כי הסיכונים ה"קטסטרופליים" מוגזמים ומודלים נוכחיים "טיפשים יותר מחתול".
• ג'נסן הואנג (מייסד NVIDIA) מאשים את מנכ"ל Anthropic, דריו אמודאי, בניסיון ל"שליטה בתעשייה כולה" דרך רגולציה מגבילה.

"המבחן האמיתי", לפי חוקרים מאוניברסיטת סטנפורד, יהיה האם חברות כמו Anthropic יציבו את הבטיחות לפני האינטרס העסקי כששני התחומים מתנגשים.