DeepSeek开源TileKernels:面向大模型训练与推理的GPU内核库

Gate 新闻消息,4月23日——DeepSeek已在MIT许可证下开源TileKernels,这是一套用TileLang编写的GPU内核库,面向大语言模型的训练与推理。TileLang是tile-ai团队开发的一种领域专用语言,用于在Python中表达高性能GPU内核。DeepSeek表示,该库中的大多数内核在计算密度和内存带宽方面已接近硬件性能上限,其中部分内核已部署在内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括Top-k专家选择、从token到专家的映射,以及融合的expand/shrink并配合权重归一化;支持FP8、FP4和E5M6格式的量化,提供逐token、逐块与逐通道量化,并包含融合的SwiGLU+量化操作;批量转置;Engram门控,融合RMSNorm的前向/反向传播与权重梯度归约;Manifold HyperConnection,采用Sinkhorn归一化并进行混合的split/apply;以及高层autograd接口,将底层内核封装为可训练的层。

Engram和Manifold HyperConnection是DeepSeek模型架构中的专有组件,首次公开披露了实现细节。该库需要NVIDIA SM90或SM100架构的GPU (H100/H200或Blackwell系列)、CUDA Toolkit 13.1或更高,以及PyTorch 2.10或更高。

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.

مقالات ذات صلة

يطلق Hashed شبكة اختبار Maroo لمنظومة عملة KRW المستقرة

أطلقت Hashed Open Finance أول شبكة اختبار عامة لـ Maroo، وهي سلسلة كتل طبقة 1 سيادية مصممة لدعم منظومة عملة مستقرة مقومة بالوون الكوري الجنوبي. تتميز الشبكة بنموذج تشغيل مزدوج المسار: مسار مفتوح للمشاركة دون قيود ومسار مُنظّم يتطلب مسبقاً

GateNewsمنذ 3 س

ساتو يقر بوجود فجوة سعرية بنيوية في عمليات سكّ وإحراق التوكنات ضمن منحنى الربط

وفقاً لـ Odaily، أصدر ساتو وثائق آليات مُحدّثة يعترف فيها بوجود تباينات هيكلية في الأسعار ضمن منحنى الارتباط بين عمليات الإصدار (mint) والإحراق (burn). وتوضح الوثائق أن أسعار الإحراق أقل بشكل منهجي من أسعار الإصدار بسبب عوامل تصحيح. ساتو

GateNewsمنذ 3 س

ينتقل Solv Protocol $700M SolvBTC من LayerZero إلى Chainlink CCIP في 7 مايو

بحسب CoinDesk، نقل بروتوكول Solv Protocol أكثر من 700 مليون دولار من SolvBTC وxSolvBTC من LayerZero إلى CCIP التابعة لشركة Chainlink في 7 مايو، مع إيقاف دعم LayerZero عبر شبكات Corn وBerachain وRootstock وTAC. ويأتي هذا التحرك في أعقاب مراجعات أمنية حديثة وهجمات عبر السلاسل، مع استمرار Solv

GateNewsمنذ 4 س

يوقف بروتوكول mETH عمليات cmETH، وتنتهي نافذة المطالبات بالمكافآت في 7 نوفمبر

وفقاً لـ BlockBeats، أعلنت mETH Protocol في 7 مايو أنها ستوقف عملياتها الخاصة برمز الاستيكينغ السائل cmETH، بينما ستستمر منتجاتها الأخرى بالعمل بشكل طبيعي. تم إيقاف وظيفة سك cmETH في 7 مايو 2026. سيكمل البروتوكول التوزيعات النهائية لمكافآت EigenLayer بحلول

GateNewsمنذ 4 س

تتولى مؤسسة Zcash إدارة الأصول الأساسية التابعة للمجتمع، بما في ذلك GitHub والموقع الإلكتروني وحساب @Zcash

وبحسب إعلان مؤسسة Zcash، تولت المؤسسة اليوم إدارة الأصول الأساسية لمجتمع Zcash، بما في ذلك مؤسسة Zcash GitHub، والموقع الإلكتروني، والنطاق، ومنصة X الخاصة بحساب @Zcash الرسمي. وستتولى المؤسسة الإشراف على صلاحيات الوصول وحوكمة المستودعات،

GateNewsمنذ 4 س

أعيدت صياغة معايير إدراج الأصول في Aave بعد استغلال $293M من KelpDAO، مع إضافة مراجعات أمنية

بحسب CoinDesk، أعلنت Aave Labs في 7 مايو أنها ستعيد كتابة معايير إدراج الأصول ومعايير مخاطر الضمانات لإضافة مراجعات لقابلية التشغيل البيني والأمن السيبراني والبنية التحتية الأساسية، إلى جانب التقييمات الحالية للأسعار والتقلبات. ويأتي هذا الإصلاح الشامل عقب هجوم في أبريل على cros KelpDAO's

GateNewsمنذ 5 س
تعليق
0/400
لا توجد تعليقات