AMD MI355X Mencapai Inferensi GLM 5,2 dengan Setengah Biaya dari NVIDIA B200

Menurut Wafer, sebuah startup yang mengkhususkan diri dalam optimalisasi inferensi, chip AMD MI355X yang menjalankan model open-source terbaru GLM 5.2 mencapai biaya inferensi kira-kira setengah dari GPU flagship NVIDIA B200, sementara memberikan sekitar 80% performa. Pengujian menunjukkan throughput agregat simpul tunggal sebesar 2.626 token per detik, dengan throughput aliran tunggal mencapai 213 token per detik. Optimalisasi ini memanfaatkan teknik perangkat lunak termasuk kuantisasi model, pemilihan engine inferensi, dan perbaikan kompatibilitas ROCm, bukan perangkat keras khusus.

Laporan terpisah dari SemiAnalysis mengonfirmasi hasil serupa, menyebutkan biaya inferensi AMD MI355X sebesar 0,22 dolar AS per juta token dalam skenario interaktif, di bawah 0,30 dolar AS milik NVIDIA B200. Namun, keunggulan AMD tetap terutama pada penerapan simpul tunggal; NVIDIA masih memimpin signifikan dalam sistem terdistribusi multi-simpul dan aplikasi skala perusahaan.