Los costos de la GPU Nvidia Blackwell se duplican, pero el gasto de inferencia por token cae 35 veces frente a Hopper

Según el análisis más reciente del blog de Nvidia, las GPU Blackwell cuestan casi el doble por hora frente a la generación Hopper, pero ofrecen 35 veces menos costos de inferencia por token. Usando DeepSeek-R1 como modelo de prueba, Blackwell (GB300 NVL72) se alquila a 2,65 USD por GPU por hora frente a los 1,41 USD de Hopper, pero el rendimiento de un solo GPU pasa de 90 a 6.000 tokens por segundo. Este salto de rendimiento de 65x reduce los costos por millón de tokens de 4,20 USD a 0,12 USD.

La cifra de 0,12 USD asume optimización completa del software, incluida la inferencia de baja precisión FP4 y la predicción de múltiples tokens (MTP). Sin MTP habilitado, los costos por millón de tokens alcanzan aproximadamente 2,35 USD, bajando a 0,11 USD con él activo, lo que demuestra un impacto de optimización de 21x atribuible solo a esa función.