אבולוציה של NPU: ארכיטקטורת Edge AI היברידית משלבת NeuroEdge 130
NPU מסורתיים סובלים ממגבלות בעיבוד שכבות לא-מטריציות במודלי AI. ארכיטקטורה היברידית המשלבת מעבד NeuroEdge 130 מתגברת על צווארי הבקבוק דרך טיפול יעיל בשכבות עיבוד מקדים/מאוחר, ומאפשרת הרצת מודלי Transformer מתקדמים תוך חיסכון של עד 60% בצריכת האנרגיה והקטנת גודל השבב.
מהפכת הבינה המלאכותית בשוליים: NPU מקבל שותף
בעולם ה-Edge AI, מעבדי הבינה המלאכותית (NPU) מהווים תשתית קריטית - אך נתקלים במגבלות משמעותיות. NPU מדור ראשון מתוכננים לביצועי מטריצות מאסיביות (MAC) אך אינם מסוגלים לטפל בפעולות מורכבות כגון פונקציות אקטיבציה או עיבוד מקדים של נתונים. תרחיש זה יוצר בעיות ארכיטקטוניות:
- צוואר בקבוק במעבד הראשי (CPU): העברת משימות למעבד כללי מאיטה את צינור העיבוד
- עומסי נתונים: העברת טנסורים גדולים בין רכיבים צורכת זמן ואנרגיה
- מורכבות פיתוח: הפצת מודל AI על פני מספר מעבדים מקשה על אופטימיזציה
הפתרון: ארכיטקטורה היברידית NPU + AICP
Cadence מציגים גישה חדשנית המשלבת את ה-NPU עם מעבד עזר ייעודי בשם NeuroEdge 130 AI Co-Processor (AICP). המערכת פועלת בשלבים:
- עיבוד מקדים: ה-AICP מבצע חלוקת נתונים (כגון חיתוך תמונות לטלאים ב-Vision Transformers)
- חישוב ליבה: ה-NPU מריץ את פעולות המטריצות האינטנסיביות
- עיבוד נוסף: ה-AICP מטפל בשכבות סופיות (SoftMax, Pooling)
- פלט: המעבד המשותף מפיק את התוצאה הסופית
יתרונות בולטים לארכיטקטורה המשולבת
- תמיכה במודלים מתקדמים כמו LLM, LVM ו-generative AI על מכשירי קצה
- חיסכון באנרגיה של עד 60% בהשוואה לפתרונות מבוססי CPU
- פישוט תהליך הפיתוח באמצעות SDK מאוחד
- הקטנת גודל השבב בכ-30% לעומת פתרונות מסורתיים
לסיכום, שילוב בין NPU למעבד ייעודי כמו NeuroEdge 130 מהווה קפיצת מדרגה ביעילות המערכות לקצה - ומאפשר הטמעת מודלי Transformer ו-Vision מתקדמים תוך צמצום עלויות פיתוח.
מקורות