MiniMax відкриває вихідний код моделі MiniMax M3 з 428 мільярдами параметрів і контекстом 1 млн токенів

За даними Beating, MiniMax відкрила вихідний код нативної мультимодальної моделі сумішей експертів (MoE) MiniMax M3, опублікувавши ваги на Hugging Face. Модель має 428 мільярдів загальних параметрів і 23 мільярди параметрів, активованих на токен, підтримуючи до 1 мільйона токенів контексту нативно. Розробницька команда випустила версію з квантуванням MXFP8 та інтегрувала підтримку популярних інференс-фреймворків, зокрема SGLang, vLLM і Transformers. MiniMax також відкрила вихідний код легкої бібліотеки ядер MiniMax Sparse Attention (MSA), досягнувши 9x швидшого pre-filling і 15x швидшого decoding на контексті в 1 мільйон токенів завдяки оптимізації архітектури NVIDIA Blackwell.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів