AMD MI355X alcança inferência GLM 5,2 com metade do custo da NVIDIA B200

Segundo a Wafer, uma startup especializada em otimização de inferência, os chips AMD MI355X executando o modelo de código aberto mais recente GLM 5.2 alcançaram custos de inferência aproximadamente metade dos da GPU principal da NVIDIA, a B200, enquanto entregavam cerca de 80% do desempenho. Os testes mostraram uma taxa de transferência agregada de nó único de 2.628 tokens por segundo, com taxa de transferência de fluxo único atingindo 213 tokens por segundo. A otimização utilizou técnicas de software, incluindo quantização de modelo, seleção de mecanismo de inferência e correções de compatibilidade com ROCm, em vez de hardware personalizado.

Um relatório separado da SemiAnalysis confirmou resultados semelhantes, citando custos de inferência da AMD MI355X de US$ 0,22 por milhão de tokens em cenários interativos, abaixo dos US$ 0,30 da NVIDIA B200. No entanto, a vantagem da AMD permanece principalmente em implantações de nó único; a NVIDIA mantém uma liderança significativa em sistemas distribuídos multinó e aplicações em escala empresarial.