מודלי AI במשקל פתוח: יותר שליטה, פחות עלות

בזמן שכולם מדברים על ChatGPT ו-Claude, חברות גדולות מאמצות בשקט מודלי AI במשקל פתוח — וזה קורה מסיבות טובות. אז מה בעצם קרה כאן?

מה הם מודלי AI במשקל פתוח?

מודל בינה מלאכותית במשקל פתוח מאפשר לכם להוריד את המשקלים המאומנים של המודל — ערכים מספריים של רשת העצבים, שהרשת למדה במהלך האימון — ולהריץ עותק משלכם על מחשב אישי או שרת. בניגוד למודלים סגורים כמו ChatGPT של OpenAI או Claude של Anthropic, שבהם המשקלים פרטיים, מודלים פתוחים מפרסמים את המשקלים לציבור. Pierre Stock, VP of Science ב-Mistral AI, אומר: "ברגע שמודל פתוח מבחינת המשקלים, הם מפורסמים באינטרנט במקומות כמו Hugging Face, כך שאי אפשר באמת לחסום גישה."

אפליקציות שולחניות כמו LM Studio, Ollama ו-Jan מאפשרות להוריד ולהריץ מודלים כאלה בממשק פשוט, כמו ChatGPT, אבל הכול רץ באופן מקומי. זה אומר שאין עלויות מנוי, ושיש שמירה מוחלטת על פרטיות ההנחיות והקבצים שלכם.

מה ההבדל בינם לבין מודלים בקוד פתוח?

אנשים משתמשים במונחים האלה כביכול כמילים נרדפות, אבל הם לא. מודל במשקל פתוח עשוי להיות גם בקוד פתוח, אבל פרסום המשקלים בלבד לא עומד בהגדרה של Open Source Initiative.

כדי לעמוד בהגדרה, מפתחים חייבים לשתף את קוד האימון וההרצה, ולספק מספיק מידע על נתוני האימון כדי שאיש מקצוע יוכל לשחזר מודל דומה. חלק מהרישיונות של מודלים פתוחים מגבילים שימוש מסחרי, מה שעלול לפסול אותם מהגדרה מלאה כקוד פתוח.

למה חברות עוברות אליהם?

ההבדל הביצועי בין מודלים סגורים ופתוחים הולך ומצטמצם, אבל הסיבה האמיתית לגידול באימוץ היא שליטה. לפי דוח של Andreessen Horowitz, 37% מהארגונים הפעילו חמישה מודלים או יותר בפרודקשן, כולל פתוחים וסגורים.

שליטה זו אומרת:

• פרטיות נתונים: הרצה מקומית או על ענן פרטי מאפשרת שימוש בתעשיות רגולטוריות כמו בריאות, משפטים ופיננסים, שבהן שליחת נתונים ל-API חיצוני לא באה בחשבון.
• התאמה אישית: אימון עדין של מודל פתוח על נתוני החברה שלכם מאפשר לעצב את ההתנהגות בלי למסור את התהליך לספק.
• עצמאות מספק: אם הספק נעלם, נרכש או משנה את התנאים, המודל לא נלקח מכם. אתם מחזיקים במשקלים.

אבל שליטה באה עם מחיר

מודל במשקל פתוח אינו זהה למודל בקוד פתוח. בדרך כלל מקבלים את המשקלים, אבל לא את נתוני האימון, את הקוד או רישיון קוד פתוח אמיתי. וזה קובע מי אחראי אם משהו נשבר.

עם מודל סגור, הספק עשה עבודת בטיחות חשובה. עם מודל פתוח, האחריות היא על הצוות שלכם, וחוקרים הראו שניתן לבטל את אימון הבטיחות באמצעות מספר קטן של דוגמאות לאימון עדין. את אמצעי הבטיחות במודלים כמו Llama ו-Gemma אפשר להסיר תוך דקות. זו לא סיבה להימנע, אבל זה סיכון שצריך להיות מודעים אליו.

מודלים פתוחים מוכיחים את עצמם במשימות צרות

המקום הברור שבו מודלים פתוחים מחזירים את ההשקעה הוא בעבודות מוגדרות היטב כמו הטמעות (embeddings), סיווג וזיהוי מידע אישי מזהה (PII). מודל ייעודי, כמו מודל להטמעות או מסווג, יכול להשיג ביצועים טובים יותר ממודל מתקדם, בעלות חישוב נמוכה משמעותית.

מודל מתקדם וגדול יכול לטפל במגוון רחב יותר של משימות, אבל משלמים על הגמישות הזו בין אם משתמשים בה ובין אם לא. מודל מותאם למשימה צרה נמנע מכך.

מי צריך להריץ אותם?

השאלה הזו מזכירה את המקרה של תוכנה בקוד פתוח, שבה הקוד "חינמי", אבל ההרצה והתחזוקה לא. עם תוכנה, רוב הארגונים משלמים על שירות מנוהל או הפצה ארוזה, כי לעיתים רחוקות זה שווה את העלות הנוספת.

מודלים במשקל פתוח פועלים לפי אותה לוגיקה. הורדת מודל מ-Hugging Face והרצה דרך שירות כמו Ollama קלות. הגעה ליעילות של מודל מתקדם ומנוהל, עם האמינות הנדרשת ליישום, קשה יותר. זה דורש מומחים שיכולים לנהל GPUs, לכוון תשתית ולשמור על ביצועים תחת עומס פרודקשן.

לרוב הארגונים, הדרך הריאלית יותר היא להשתמש בספק inference כמו Fireworks, Together AI או Base10, שמתמחים בהרצה ובהגדלה של מודלים פתוחים. זה מספק את היתרונות של עלות נמוכה ושליטה, בלי עול התפעול. היוצא מן הכלל הוא self-hosting כאשר AI הוא ליבת העסק, ויש לארגון את הגודל והמומחיות להצדיק זאת.

מודלים מתקדמים עדיין שולטים

במודלים מתקדמים משלמים על רמת ביצועים כמעט מובטחת, בלי לבנות אותה בעצמכם. מודלים פתוחים יכולים להשיג יכולת דומה במחיר נמוך יותר, אבל המחיר מופיע במקום אחר — בהשהיה או בעבודה הנדרשת כדי להביא את המודל לביצועים יציבים בקנה מידה.

מדד הבינה המלאכותית של Stanford מצא שהפער בין המודלים הפתוחים והסגורים הטובים ביותר התרחב מעט השנה — שווה לזכור בפעם הבאה שמישהו טוען שהפתוח כמעט השיג את הסגור.

המחיר עבר לשכבה שמעל

בשלב מסוים, מערכות הפעלה הפכו לסחורה; אף אחד כבר לא מרוויח כסף ממכירת מערכת הפעלה. הפיכת שכבת ה-OS לסחורה אפשרה את הענן, מה שאפשר מאז חדשנות רבה.

אנחנו עשויים לראות דפוס דומה עם מודלי AI. הערך לא נעלם; הוא עובר לשכבה שמעל — השירותים שנבנים על המודלים עצמם.

אם אתם בונים מוצר, ההחלטה לאיזו גישה ללכת תלויה בסיכונים שאתם מוכנים לשאת. מודלים פתוחים מציעים חופש, אבל חופש דורש אחריות. בסופו של יום, הכול עניין של איזון — ושליטה לא תמיד זולה כפי שהיא נראית.