"USTC"的搜索结果
今天
09:38

华为、USTC 和北京大学在 MoE 模型训练的 Ascend A3 上实现 58% 加速

据 Beating 称,华为、清华大学科学技术大学(USTC)和北京大学的研究人员发布了 HyperParallel-MoE,这是一种面向 Ascend A3 芯片的编译器调度框架。该框架通过 36% 降低 MoE 专家计算模块的延迟,并在 256 节点集群中运行 671B 参数的 DeepSeek 风格模型时,实现整体数据处理速度提升 58%(快 1.49–1.58 倍);同时,单步训练速度提升 8–9%。