MiniMax disponibiliza em open-source a biblioteca de Sparse Attention para Blackwell, com pesos M3, esta sexta-feira

De acordo com Ryan Lee, diretor de relações com programadores da MiniMax, a empresa disponibilizou em open-source o MiniMax Sparse Attention (MSA), uma biblioteca de atenção de alto desempenho para GPUs NVIDIA Blackwell (SM100), sob a licença MIT. Lee anunciou que os pesos do modelo M3 serão lançados na sexta-feira, 13 de junho.

Quando aplicada à inferência de contexto de milhão de tokens do MiniMax-M3, a MSA reduz o cálculo da atenção em 28,4x em comparação com o Dense GQA com uma configuração equivalente. Em GPUs H800, a biblioteca alcançou um aumento de velocidade no pre-fill de 14,2x e uma aceleração de 7,6x na fase de decodificação.

Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário