חוקרים מתל אביב: ״אימנו מודל AI בלי שום דאטה מהעולם״
חוקרים מאוניברסיטת תל אביב ומאוניברסיטת סטנפורד הציגו הוכחת היתכנות ל-Zero-Data Pretraining: שיטת אימון שבה שני מודלים לומדים מעצמם, בלי דאטה אמיתי. המודל רכש יכולות בתחומים שאליהם לא נחשף — מטקסט ועד DNA — וזה קורה ברגע שבו התעשייה מתקרבת למיצוי הנתונים האיכותיים.
בסוף כל השנים האלה שבהן הדאטה היה המלך, מתברר שאפשר אחרת — לפחות ברמת הוכחת ההיתכנות.
חוקרים מאוניברסיטת תל אביב ומאוניברסיטת סטנפורד פרסמו מחקר שמאתגר את אחת ההנחות הבסיסיות ביותר בתחום ה-AI: שצריך כמויות עצומות של נתונים אמיתיים כדי לאמן מודל מועיל. הפתרון שלהם, שנקרא Zero-Data Pretraining, מציע מודל שמתאמן על מידע שהוא עצמו מייצר "יש מאין" — בלי טקסטים, בלי תמונות, בלי הקלטות.
אז איך בעצם זה עובד?
השיטה מבוססת על "משחק גומלין" בין שני מודלים של בינה מלאכותית שמתחילים מאפס ביחד. הראשון בונה תוכניות מחשב קצרות שמפיקות רצפים של סימנים, והשני מנסה לחזות את הסימן הבא בכל רצף. הראשון מקבל משוב על כמה התרגילים שלו תורמים ללמידה של השני, ומשתפר כל הזמן בבחירת אתגרים שמתאימים ליכולת המתפתחת של המודל הלומד.
והתוצאה? אחרי האימון, המודל השני רכש יכולות חיזוי והסקה בתחומים שהוא מעולם לא "ראה" — טקסט, תמונות, צלילים, מוזיקה, קוד ורצפי DNA. ככל שהחוקרים השקיעו יותר משאבי חישוב בתהליך, היכולות השתפרו באופן עקבי.
מה הופיע ב"חומר הלימוד" שהמערכת יצרה לעצמה?
אחד הממצאים המסקרנים: מתוך הרצפים שהמערכת הראשונה יצרה, התגלו דפוסים מתמטיים מוכרים — כולל סדרת פיבונאצ'י. כלומר, המודל למד לייצר לעצמו תבניות בעלות מבנה ברור, שהמודל השני יכול להפיק מהן תועלת אמיתית.
בנוסף, ניסוי נוסף הראה שאימון מקדים בשיטה החדשה סייע למודל ללמוד מהר יותר כשבהמשך נחשף לנתונים אמיתיים מהעולם.
למה זה רלוונטי עכשיו?
המחקר מגיע ברגע קריטי: תעשיית ה-AI מתקרבת למיצוי הנתונים האיכותיים הזמינים לאימון מודלים מתקדמים. החברות הגדולות כבר מפנימות שאי אפשר להמשיך לגדול רק דרך גירוד האינטרנט, ומשקיעות משאבים בפתרונות יצירתיים. שיטת ה-Zero-Data Pretraining יכולה להציע כיוון חלופי — במקום לאסוף עוד ועוד דאטה, לייצר אותו באופן סינתטי בתוך תהליך הלמידה עצמו.
מה שואלים החוקרים עכשיו?
"זו עדיין הוכחת היתכנות במודלים קטנים", מבהיר ד"ר יואב לוין מבית הספר למדעי המחשב באוניברסיטת תל אביב, שהוביל את המחקר יחד עם ד"ר כפיר דולב במסגרת פוסט-דוקטורט שלו, בליווי שותפים מסטנפורד.
"השאלה המרכזית היא: כמה רחוק אפשר לקחת את האינטליגנציה בלי לחשוף אותה למידע מהעולם החיצון? האם נוכל להכין מודלים שילמדו טוב יותר מהמציאות בזכות התנסויות שהם יצרו לעצמם?"
המחקר מציע תשובה ראשונית לשאלה עמוקה: האם קיים רכיב "אוניברסלי" באינטליגנציה, שלא תלוי במידע חיצוני? התוצאות מצביעות על כך שהדבר אפשרי.
האם זה יתורגם למודלים גדולים בתעשייה — זו כבר שאלה אחרת לגמרי.