أطلقت AMD نموذج Instella-MoE مفتوح المصدر بالكامل بحجم 16 مليار معلمة في 25 يوليو

AMD%3.29-
وفقًا لـ BlockBeats، أطلقت AMD نموذج Instella-MoE متعدد الخبراء (MoE) بنظام مفتوح بالكامل المصدر في 25 يوليو، ويضم 16 مليار معلمة إجمالية، مع تفعيل 2.8 مليار معلمة لكل رمز. حقق النموذج الأساسي متوسط درجة 76.7، ليأتي ضمن الطليعة بين نماذج اللغة مفتوحة المصدر، متفوقًا على SmolLM3-3B وOLMo-3-7B. تم تدريبه على وحدات معالجة الرسوميات AMD Instinct MI300X وMI325X باستخدام مكدس برمجيات ROCm، ويدعم Instella-MoE طول سياق يصل إلى 64K رمز. تطرح AMD علنًا جميع أوزان النموذج وإعدادات التدريب وتوزيعات البيانات ونقاط التفتيش الوسيطة وكود الاستدلال لدفع أبحاث نماذج الذكاء الاصطناعي مفتوحة المصدر.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات