OpenAI 工程师 Clive Chan 挑战 V4 硬件建议,称其相较 V3 存在错误与模糊之处

Gate News 消息,4 月 24 日——OpenAI 工程师 Clive Chan 就 V4 技术报告中的硬件建议章节提出了详细反对意见,称其相较备受赞誉的 V3 版本“出人意料地平庸且容易出错”。V3 的硬件指导包含 Q&A 会议,该会议成为 ISCA 学术会议上最受欢迎的讨论话题,并提供了与行业互连标准相匹配的具体建议。相比之下,V4 则要模糊得多。

Chan 系统性地质疑了三项关键建议。在功耗方面,报告认为通过软件优化,芯片可以同时在满负荷下运行计算、存储和通信,并建议芯片制造商预留额外的功率余量。Chan 认为这会适得其反:芯片的总功率受到物理工艺限制,因此预留更多的功率余量只会降低运行频率,最终减少计算性能。关于 GPU 到 GPU 的数据传输,报告主张采用拉取模型——由 GPU 主动获取数据——而非推送模型,并以推送操作中较高的通知开销为由。Chan对此提出异议,认为拉取实际上更慢,反而应当优先提升网络适配器能力。然而,两者可能在讨论问题的不同层面:报告关注的是通知机制带来的开销,而 Chan 指的是传输延迟本身。

关于激活函数,报告建议用更简单的函数替换 SwiGLU,以降低计算负担。Chan 认为这没有任何价值,指出 Sonic MoE 已经通过使用 SwiGLU 展示了最佳性能。Chan 怀疑 DeepSeek 可能“故意削弱了这一部分。”

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات