ZAYA1-8B這架構有點意思,自回歸改MoE擴散還能單次前向去噪16token,7.7x加速是真把顯存壓力轉成算力壓榨了

查看原文
ME News
Zyphra 發布 AMD 生態系統首個擴散語言模型,最高提速7.7倍
Zyphra發布ZAYA1-8B-Diffusion-Preview,將自回歸大語言模型轉化為混合專家擴散模型,成為首個在 AMD 硬件生態內訓練的擴散語言模型。通過 TiDAR 跳過從頭預訓練,在單次前向可對16個 token 同時去噪,將顯存瓶頸轉化為算力瓶頸。實測在CCA注意力+無損採樣下達4.6x加速,切換混合logit採樣器後升至7.7x。
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆