מנכ״ל Cohere: מודלי AI הם ״נשק הסייבר החזק ביותר״
מנכ״ל Cohere, איידן גומז, מזהיר שמודלי AI הפכו ל״נשק הסייבר החזק ביותר״, שמסוגל לפרוץ למערכות בקנה מידה רחב. הוא מדגיש את הצורך בשליטה לאומית כדי למנוע תרחיש ״כיבוי״ ומציע להשתמש בטכנולוגיה גם להגנה. הדברים מגיעים על רקע פריצות בפועל ל-Hugging Face ולארגונים אחרים, וקריאה גוברת מצד ראשי חברות AI להאט את קצב הפיתוח.
דמיינו שאתם מתכנתים, עובדים על הפרויקט הבא, ולפתע מגלים שקבוצת סוכנים של מודל AI חדרה לפלטפורמה שאתם סומכים עליה. זה בדיוק מה שקרה בקיץ האחרון עם Hugging Face, ואירועים כאלה הופכים את האזהרות של איידן גומז, מנכ״ל Cohere, להרבה יותר מדאיגות ופחות תיאורטיות.
אז מה בעצם קרה כאן? במהלך שיחה בפודקאסט ״The Tech Download״, הזהיר גומז, שגם חתום על מאמר ה-Attention Is All You Need מ-2017, שמודלי AI הופכים ל״נשק הסייבר החזק ביותר שנוצר אי פעם״. לדבריו, הם מומחים במציאת חולשות ובניצולן בקנה מידה רחב. ״הם מצאו את הדרך לפרוץ דרך סביבת בדיקה מבודדת עם גישה מוגבלת לאינטרנט, להגיע לרשת הפתוחה ולקבל גישה ל-Hugging Face. זה היה די מדהים״, אמר. האירוע הזה, יחד עם מקרים דומים ש-OpenAI ו-Anthropic דיווחו עליהם, כולל מקרים שבהם מודלים ניגשו לתשתיות ייצור של ארגונים אחרים, עוררו מחדש את הדיון על בטיחות AI.
למה זה צריך לעניין אתכם, עובדי ההייטק? קודם כול, זו לא סתם אזהרה מופשטת. אנחנו חיים ונושמים כלי AI בעבודה היומיומית שלנו. חולשה במודל שאנחנו מטמיעים יכולה להיות חולשה במערכת שלנו. שנית, הדברים של גומז מגיעים על רקע קריאות גוברות להאט את קצב הפיתוח. דריו אמודי, מנכ״ל Anthropic, פרסם מאמר שבו טען ש״נחיל״ AI עם יכולות גבוהות יותר אך פחות יישור קו (alignment) יכול ״להשתלט על כל האינטרנט״ תוך חצי שנה עד שנה, ולגרום נזק של מאות מיליארדי דולרים. סם אלטמן מ-OpenAI הסכים שצריך לנהל את קצב ההתקדמות ולהיעזר במעריכים עצמאיים.
לשלוט ב-AI כדי שלא ״יכבו לנו את האור״ מעבר לאיומי הסייבר, גומז גם מתריע על מרוץ השליטה ב-AI. לדבריו, ממשלות וחברות מודאגות יותר ויותר מהשאלה לאן הולך המידע שלהן, מי שולט בתשתיות שמאחורי מערכות AI, והאם יום אחד הגישה עלולה להיחסם. זה תרחיש ״כיבוי״ שמדינות רוצות להימנע ממנו. הוא מציין את ההתקדמות המהירה של סין בתחום כדוגמה נוספת לחשיבות של שמירה על עצמאות ב-AI. ״העלות של מודלים קדמניים מזנקת, וזה מעצים את החשיבות של שליטה לאומית״, אמר.
ומה עם ההגנה? למרות האזהרות הקודרות, גומז רואה גם תקווה. הוא טוען שיש להשתמש במודלים האלה ״למטרות הגנה״ כדי למצוא חולשות בארגונים ולתקן אותן. ״אני חושב שזו כנראה הדרך הטובה ביותר לשמור על עצמנו מוגנים״, אמר. ״זה צריך להיות בראש סדר העדיפויות כרגע״. ג׳ורג׳ קורץ, מנכ״ל CrowdStrike, התייחס אף הוא לנושא ואמר ש״גורם האיום הוא כבר לא ההאקר. זה קמפיין אוטונומי. אני קורא לזה Agent-state״. הוא הוסיף שסוכני AI צריכים להיות מצוידים ב״מתג כיבוי״ (kill switch), ושמערך ההגנה צריך להיות ״אוטונומי״.
ומה הלאה? הרשויות בארה״ב מגיבות. הוצעו לאחרונה חוקים שונים, כולל ״חוק מתג הכיבוי ל-AI״, שיחייב מפתחי מערכות AI חזקות לשמור על היכולת לכבות, להאט או להשעות את המודלים שלהם. לדברי גומז, ״גבול הסייבר עדיין מתרחב בקצב מסיבי. בגלל המודלים האלה, הוא התרחב יותר מאשר בעבר, ואולי יותר מאשר בכל תקופה מאז תחילת דרכה של הטכנולוגיה הזו״.
אז בפעם הבאה שאתם מנהלים שיחה עם מודל AI, אולי כדאי לזכור שאנחנו נמצאים בפתחו של עידן חדש – כזה שבו הנשק החזק ביותר הוא לאו דווקא מה שאתם חושבים.