DeepSeek 开源 TileKernels:大型模型训练与推理的 GPU 内核库

Gate News 消息,4月23日——DeepSeek 已在 MIT 许可下开源了 TileKernels,这是一款使用 TileLang 编写的 GPU 内核库,面向大型语言模型的训练与推理。TileLang 是 tile-ai 团队开发的领域专用语言,用于在 Python 中表达高性能 GPU 内核。DeepSeek 表示,该库中的大多数内核已接近在计算密度与内存带宽方面的硬件性能上限,其中部分内容已部署到内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括 Top-k 专家选择、token 到专家的映射,以及带权重归一化的融合 expand/shrink;量化支持 FP8、FP4 和 E5M6 格式,提供按 token、按块和按通道的量化,并包含融合的 SwiGLU+量化操作;批量转置;Engram 门控,融合 RMSNorm 的前向/反向传播与权重梯度归约;Manifold HyperConnection,使用 Sinkhorn 归一化并进行混合的 split/apply;以及将底层内核封装为可训练层的高级 autograd 接口。

Engram 和 Manifold HyperConnection 是 DeepSeek 模型架构的专有组件,其实现细节首次向公众披露。该库需要 NVIDIA SM90 或 SM100 架构的 GPU (H100/H200 或 Blackwell 系列),CUDA Toolkit 13.1 或更高版本,以及 PyTorch 2.10 或更高版本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Arbitrum 批准 $71M ETH 在 Kelp DAO 利用攻击后解冻

根据投票结果,Arbitrum 治理已批准一项提案,解锁在 Kelp DAO 被利用事件后冻结的约 7100 万美元的 Ether。该举措获得了超过 90.5% 的投票权支持,支持方代表 1.739 亿枚 Arbitrum 代币,而少于 1% 的人投了

Crypto Frontier1小时前

Hashed 为 KRW 稳定币生态系统推出 Maroo 测试网

Hashed Open Finance 已推出首个面向公众的 Maroo 公测网,这是一个主权层-1 区块链,旨在支持以韩元稳定币为核心的生态系统。该网络采用双轨运行模式:开放路径(Open Path)允许不受限制的参与;受监管路径(Regulated Path)则要求事先

GateNews5小时前

佐藤承认在质押曲线铸造-销毁操作中存在结构性价格差距

据 Odaily 称,sato 发布了更新后的机制文档,承认其 Bonding Curve 的铸造与销毁操作之间存在结构性价格差异。该文档显示,由于校正因子,销毁价格会系统性低于铸造价格。sato

GateNews5小时前

Solv Protocol 于 5 月 7 日将 $700M SolvBTC 从 LayerZero 迁移到 Chainlink CCIP

据 CoinDesk 称,Solv Protocol 于 5 月 7 日将超过 7 亿美元的 SolvBTC 和 xSolvBTC 从 LayerZero 迁移到 Chainlink 的 CCIP,并停止在 Corn、Berachain、Rootstock 和 TAC 网络上对 LayerZero 的支持。此次迁移是在近期安全审查以及跨链攻击之后进行的,Solv

GateNews5小时前

mETH Protocol 暂停 cmETH 运作,奖励领取窗口将于 11 月 7 日关闭

据 BlockBeats 称,mETH Protocol 于 5 月 7 日宣布将停止其流动再质押代币 cmETH 的运营,而其他产品将继续正常运行。cmETH 铸造功能已于 2026 年 5 月 7 日关闭。该协议将完成最终的 EigenLayer 奖励分配,随后

GateNews6小时前

Zcash 基金会承担核心社区资产的管理,包括 GitHub、网站和 @Zcash 账户

根据 Zcash 基金会的公告,基金会今天已接手管理核心 Zcash 社区资产,包括 Zcash GitHub 组织、网站、域名以及 X 平台上的 @Zcash 官方账号。基金会将负责监管访问权限和代码库治理,

GateNews6小时前
评论
0/400
暂无评论