"USTC"的搜尋結果
2026-05-25
09:38

華為、USTC 與北京大學在用於 MoE 模型訓練的 Ascend A3 上實現 58% 的加速

根據 Beating,華為、清華大學的中國科學技術大學(USTC)以及北京大學的研究人員揭露了 HyperParallel-MoE,一種為 Ascend A3 晶片設計的編譯器排程框架。該框架透過在 MoE 專家計算模組中降低 36% 的延遲,並在 256 節點叢集上運行 671B 參數的類 DeepSeek 模型時,實現整體資料處理速度提升 58%(快 1.49–1.58 倍),同時單步訓練速度也提升了 8–9%。