AI + VLLM

    ידיעות בינה מלאכותית בנושא VLLM

    סייבר

    חולשות קריטיות והתפשטות סמויה: ההאקרים מגבירים מתקפות על מערכות AI

    חשיפת פרצות RCE במערכי AI של מטא, NVIDIA ומיקרוסופט עקב העתקת קוד פגום; SentinelOne משיקה פלטפורמת אבטחת AI משולבת AWS; עליית איומי Shadow AI - שימוש לא מפוקח במודלים על ידי עובדים הגורם לדליפות נתונים וסיכונים משפטיים.

    תוכנה
    Ant Group משיקה מסגרת AI מהירה פי 10 מפתרון של Nvidia לחישובי דיפוזיה

    Ant Group משיקה מסגרת AI מהירה פי 10 מפתרון של Nvidia לחישובי דיפוזיה

    Ant Group השיקה את dInfer - מסגרת קוד פתוח לייעול תהליכי ה-inference במודלי דיפוזיה של AI. לפי החברה, המערכת מהירה פי 3 מפתרון vLLM של אוניברסיטת קליפורניה ופי 10 מפתרון Fast-dLLM של NVIDIA, עם יכולת ייצור של 1,011 טוקנים בשנייה. הצעד משקף מאמץ סיני לפצות על מחסור בשבבי AI מתקדמים באמצעות אופטימיזציה תוכנתית.