DeepSeek 发布 V4 开源模型系列：1.6T 参数与 MIT 许可

Gate News 消息，4 月 24 日——DeepSeek 已在 MIT 许可下发布 V4 系列开源模型，权重现已在 Hugging Face 和 ModelScope 上提供。该系列包含两个专家混合 (MoE) 模型：V4-Pro 总参数 1.6 万亿，按每个 token 激活 49 亿；以及 V4-Flash 总参数 2840 亿，按每个 token 激活 130 亿。两者都支持 100 万 token 的上下文窗口。

该架构包含三项关键升级：一种混合注意力机制，结合压缩稀疏注意力 (CSA) 和高度压缩注意力 (HCA)，从而显著降低长上下文开销——V4-Pro 在 1M 上下文下的推理 FLOPs 仅为 V3.2 的 27%，用于在推理过程中存储历史信息的 KV 缓存 (VRAM) 仅为 V3.2 的 10%；用流形约束超连接 (mHC) 替代传统残差连接，以增强跨层信号传播稳定性；以及 Muon 优化器以实现更快的训练收敛。预训练使用了超过 32 万亿 tokens 的数据。

后训练采用两阶段方法：首先通过监督微调 (SFT) 和 GRPO 强化学习训练领域特定专家，然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 声称是最强的开源模型，拥有顶级代码基准，并在推理和智能体任务上显著缩小了与闭源前沿模型的差距。V4-Flash-Max 在算力充足的情况下实现了 Pro 级推理性能，但在纯知识和复杂智能体任务上受限于参数规模。权重以混合 FP4+FP8 精度存储。