DeepSeek Merilis TileKernels Secara Open Source, Pustaka Kernel GPU untuk Pelatihan dan Inferensi Model Besar

Pesan Gate News, 23 April — DeepSeek telah merilis TileKernels sebagai open source di bawah lisensi MIT, sebuah pustaka kernel GPU yang ditulis dalam TileLang untuk pelatihan dan inferensi model bahasa besar. TileLang adalah bahasa pemrograman khusus domain yang dikembangkan oleh tim tile-ai untuk mengekspresikan kernel GPU berperforma tinggi dalam Python. DeepSeek menyatakan bahwa sebagian besar kernel dalam pustaka tersebut telah mendekati batas performa perangkat keras pada kepadatan komputasi dan bandwidth memori, dengan sebagian yang sudah dideploy pada operasi pelatihan dan inferensi internal.

Pustaka ini terdiri dari enam kategori kernel: MoE (mixture of experts) gating dan routing, termasuk pemilihan expert Top-k, pemetaan token-ke-expert, dan expand/shrink terfusi dengan normalisasi bobot; kuantisasi yang mendukung format FP8, FP4, dan E5M6 dengan kuantisasi per-token, per-block, dan per-channel, termasuk operasi kuantisasi terfusi SwiGLU+; transpose batch; Engram gating dengan propagasi maju/mundur RMSNorm terfusi dan pengurangan gradien bobot; Manifold HyperConnection dengan normalisasi Sinkhorn dan split/terapkan campuran; serta antarmuka autograd tingkat tinggi yang membungkus kernel tingkat rendah menjadi lapisan yang dapat dilatih.

Engram dan Manifold HyperConnection adalah komponen proprietary dari arsitektur model DeepSeek, dengan detail implementasi yang untuk pertama kalinya diungkapkan secara publik. Pustaka ini memerlukan GPU arsitektur NVIDIA SM90 atau SM100 (H100/H200 atau seri Blackwell), CUDA Toolkit 13.1 atau lebih tinggi, serta PyTorch 2.10 atau lebih tinggi.