DeepSeek phát hành mã nguồn mở TileKernels, thư viện kernel GPU cho đào tạo và suy luận mô hình lớn

Tin tức cổng, ngày 23 tháng 4 — DeepSeek đã phát hành mã nguồn mở TileKernels theo giấy phép MIT, một thư viện kernel GPU được viết bằng TileLang cho đào tạo và suy luận mô hình ngôn ngữ lớn. TileLang là ngôn ngữ chuyên biệt do nhóm tile-ai phát triển để diễn đạt các kernel GPU hiệu năng cao trong Python. DeepSeek cho biết hầu hết các kernel trong thư viện đã tiến gần đến giới hạn hiệu năng phần cứng về mật độ tính toán và băng thông bộ nhớ, với một phần đã được triển khai trong các tác vụ đào tạo và suy luận nội bộ.

Thư viện gồm sáu nhóm kernel: MoE (hỗn hợp các chuyên gia) phân luồng và định tuyến, bao gồm chọn chuyên gia Top-k, ánh xạ token sang chuyên gia, và mở rộng/thu gộp kèm chuẩn hoá trọng số; lượng tử hoá hỗ trợ các định dạng FP8, FP4 và E5M6 với lượng tử hoá theo từng token, theo từng block và theo từng kênh, bao gồm các tác vụ lượng tử hoá gộp SwiGLU+; chuyển vị theo lô (batch transpose); Engram gating với lan truyền xuôi/ngược RMSNorm gộp và giảm gradient trọng số; Manifold HyperConnection với chuẩn hoá Sinkhorn và tách/áp dụng trộn; và các giao diện autograd cấp cao bọc các kernel mức thấp thành các lớp có thể huấn luyện.

Engram và Manifold HyperConnection là các thành phần độc quyền trong kiến trúc mô hình của DeepSeek, với chi tiết triển khai lần đầu tiên được công bố công khai. Thư viện yêu cầu GPU thuộc kiến trúc NVIDIA SM90 hoặc SM100 (H100/H200 hoặc dòng Blackwell), CUDA Toolkit 13.1 trở lên và PyTorch 2.10 trở lên.