ציונים קרסו ב-50%: מרצה בבראון תפס סטודנטים עם ChatGPT
פרופ' Robert Serrano בבראון גילה ש-ChatGPT הניב תשובות דומות ל-40 ציוני מאה בבחינת בית. אחרי שהחזיר את המבחן לכיתה, הציונים קרסו ל-48.6 ו-19 סטודנטים נכשלו — למרות שהוריד את רף המעבר.
40 ציוני מאה? משהו פה מסריח
אוניברסיטת Brown נחשבת למוסד עילית אמריקאי — קבלה של 5.5% בלבד, חלק מ-Ivy League, מקום שבו סטודנטים אמורים להיות מהחכמים בארה"ב. אז כשמרצה לכלכלה, פרופ' Robert Serrano, ראה שממוצע בחינת הבית שלו הגיע ל-96 — עם 40 סטודנטים שקיבלו 100, מול ממוצע היסטורי של 65-80 — הוא ידע שמשהו לא בסדר.
הקורס שלו, "כלכלת רווחה ובחירה חברתית", בדרך כלל מושך 30-40 נרשמים. השנה נרשמו 86. הנסיבות יוצאות הדופן — פיגוע ירי בקמפוס בדצמבר, שבו נהרגו שני סטודנטים — הובילו את סראנו להציע בחינות במתכונת ביתית במקום בכיתה.
מה ChatGPT ענה? פחות או יותר מהסטודנטים
סראנו והמתרגלים שלו עשו את מה שכל Data Scientist היה עושה: הזינו את שאלון הבחינה ל-ChatGPT. התוצאות? תשובות דומות מאוד לאלו של הסטודנטים — "די נכונות, אבל משהו היה לא מיושר, עם סגנון מאוד פתלתל", כפי שתיאר.
המבחן בכיתה שינה הכל
אז סראנו החליט להחזיר את מבחן הגמר לפורמט מסורתי בכיתה. התגובה הייתה מיידית: 18 סטודנטים פרשו מהקורס. תשעה נוספים פשוט לא הופיעו לבחינה.
התוצאות מדברות בעד עצמן:
- שלושה סטודנטים קיבלו 0
- הממוצע הגיע ל-48.6 — שפל כל הזמנים בקורס
- רק מעטים קיבלו ציון דומה ל-96 של בחינת הבית
סראנו ביטל רטרואקטיבית את תוצאות בחינת הבית, קבע שבחינת הגמר תהווה 80% מהציון, והוריד את רף המעבר מ-50 ל-40. אפילו כך, 19 סטודנטים נכשלו.
מה זה אומר עליכם?
"אנחנו לא יכולים להרשות לעצמנו חברה שבה חלק ניכר מהמוחות הצעירים הטובים ביותר חושב שלרמות זה בסדר", אמר סראנו. "זה יוביל לחברה כושלת. אנחנו לא יכולים לבחור להיות אידיוטים".
אם אתם מגייסים juniורים בשנים האחרונות, אתם כנראה כבר יודעים: היכולת לדעת אם מועמד באמת מבין מה שהוא מציג — או שה-AI עשה את העבודה בשבילו — הפכה לאתגר אמיתי. מקרה בראון מוכיח שזה לא רק עניין של תעשיית ההייטק. זה מתחיל כבר באקדמיה.