Вартість GPU Nvidia Blackwell подвоюється, але витрати на інференс у перерахунку на токен падають у 35 разів порівняно з Hopper

У нещодавньому блозі Nvidia йдеться, що GPU Blackwell коштують майже вдвічі дорожче за годину порівняно з поколінням Hopper, але забезпечують у 35 разів нижчі витрати на інференс на токен. Як тестову модель використали DeepSeek-R1: оренда Blackwell (GB300 NVL72) становить $2,65 за GPU на годину проти $1,41 для Hopper, однак пропускна здатність одного GPU зростає з 90 до 6 000 токенів за секунду. Такий приріст пропускної здатності у 65 разів знижує витрати на мільйон токенів з $4,20 до $0,12.

Показник $0,12 передбачає повну оптимізацію програмного забезпечення, включно з інференсом у низькій точності FP4 та багатотокенним прогнозуванням (MTP). Якщо MTP не ввімкнено, витрати на мільйон токенів досягають приблизно $2,35, а з увімкненим MTP падають до $0,11, демонструючи, що лише ця функція дає ефект оптимізації у 21 раз.