Nvidia Blackwell GPU 成本翻倍,但每個 Token 推論成本相較 Hopper 降低 35 倍

根據 Nvidia 最新部落格分析,Blackwell GPU 的每小時成本相較於 Hopper 世代近乎翻倍,但每個 token 的推論成本則可低 35 倍。以 DeepSeek-R1 作為測試模型,Blackwell(GB300 NVL72)租用每張 GPU 每小時為 2.65 美元,而 Hopper 為 1.41 美元;然而單顆 GPU 的吞吐量則從每秒 90 個 token 大幅提升到每秒 6,000 個 token。這 65 倍的吞吐提升使得每百萬個 token 成本從 4.20 美元降至 0.12 美元。

0.12 美元這個數字假設已完成完整軟體最佳化,包括 FP4 低精度推論與多 token 預測(MTP)。若未啟用 MTP,每百萬個 token 成本約可達 2.35 美元;啟用後則降至 0.11 美元,顯示僅靠該功能本身就帶來 21 倍的最佳化效果。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆