英伟达 Blackwell GPU 成本翻倍,但单 token 推理成本较 Hopper 下降 35 倍

根据 Nvidia 最新博客分析,Blackwell GPU 的每小时成本几乎是 Hopper 代际的两倍,但每个 token 的推理成本却低 35 倍。以 DeepSeek-R1 作为测试模型,Blackwell(GB300 NVL72)按每 GPU 每小时 2.65 美元出租,而 Hopper 为 1.41 美元;但单个 GPU 的吞吐量从 90 跃升至 6,000 每秒 token。这样 65 倍的吞吐量增益使每百万 token 成本从 4.20 美元降至 0.12 美元。

0.12 美元这一数值假设完成了全套软件优化,包括 FP4 低精度推理和多 token 预测(MTP)。如果未启用 MTP,每百万 token 成本约为 2.35 美元,启用后降至 0.11 美元,表明仅该特性就带来了 21 倍的优化效果。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论