DeepSeek publie en open source TileKernels, une bibliothèque de noyaux GPU pour l’entraînement et l’inférence de grands modèles

Message de l'actualité Gate News, le 23 avril — DeepSeek a publié en open source TileKernels sous licence MIT, une bibliothèque de noyaux GPU écrite dans TileLang pour l’entraînement et l’inférence de grands modèles de langage. TileLang est un langage spécifique au domaine développé par l’équipe tile-ai pour exprimer des noyaux GPU à haute performance en Python. DeepSeek a déclaré que la plupart des noyaux de la bibliothèque ont atteint les limites de performance du matériel en termes de densité de calcul et de bande passante mémoire, avec des portions déjà déployées dans des opérations internes d’entraînement et d’inférence.

La bibliothèque se compose de six catégories de noyaux : MoE (mélange d’experts) de gating et de routage, y compris la sélection d’experts Top-k, le mappage jeton-vers-expert, et l’expansion/réduction fusionnée avec normalisation des poids ; la quantification prenant en charge les formats FP8, FP4 et E5M6 avec quantification par jeton, par bloc et par canal, y compris des opérations fusionnées de SwiGLU+quantification ; la transposition par lots ; le gating Engram avec propagation avant/arrière RMSNorm fusionnée et réduction du gradient de poids ; Manifold HyperConnection avec normalisation Sinkhorn et split/apply mixte ; et des interfaces autograd de haut niveau qui enveloppent des noyaux de bas niveau dans des couches entraînables.

Engram et Manifold HyperConnection sont des composants propriétaires de l’architecture de modèle de DeepSeek, dont les détails d’implémentation ont été divulgués publiquement pour la première fois. La bibliothèque nécessite des GPU d’architecture NVIDIA SM90 ou SM100 (H100/H200 ou série Blackwell), CUDA Toolkit 13.1 ou supérieur, et PyTorch 2.10 ou supérieur.