據專注於推理優化的新創公司 Wafer 表示,採用最新開源模型 GLM 5.2 的 AMD MI355X 晶片,其推理成本約為 NVIDIA 旗艦 GPU B200 的一半,同時效能約達 80%。測試顯示,單節點彙總吞吐量為每秒 2,626 個 token,單串流吞吐量達到每秒 213 個 token。此優化採用了軟體技術,包括模型量化、推理引擎選擇及 ROCm 相容性修正,而非客製化硬體。
另一份來自 SemiAnalysis 的報告也證實了類似結果,指出在互動場景中,AMD MI355X 的推理成本為每百萬 token 0.22 美元,低於 NVIDIA B200 的 0.30 美元。然而,AMD 的優勢主要仍侷限於單節點部署;NVIDIA 在多節點分散式系統及企業級應用中仍保有顯著領先。