Инженер OpenAI Клайв Чан оспаривает рекомендации по оборудованию в V4, указывая на ошибки и расплывчатость по сравнению с V3

Gate News-сообщение, 24 апреля — инженер OpenAI Клайв Чан высказал подробные возражения против главы с рекомендациями по оборудованию в техническом отчёте V4, назвав её «удивительно посредственной и склонной к ошибкам» по сравнению с получившей признание версией V3. Аппаратные рекомендации V3, которые включали сессии Q&A, ставшие самой популярной темой для обсуждений на академической конференции ISCA, предоставили конкретные рекомендации, согласованные с отраслевыми стандартами межсоединений. Напротив, V4 гораздо более расплывчата.

Чан систематически оспорил три ключевые рекомендации. По энергопотреблению отчёт предполагает, что оптимизация программного обеспечения позволяет чипам одновременно работать на полной мощности для вычислений, хранения и связи, и рекомендует производителям чипов закладывать дополнительный запас по мощности. Чан утверждает, что это контрпродуктивно: общая мощность чипа ограничена физическими ограничениями технологического процесса, поэтому резервирование большего запаса по мощности лишь снижает рабочую частоту, в конечном итоге уменьшая вычислительную производительность. Что касается передачи данных GPU-to-GPU, отчёт предлагает модель pull — когда GPU активно запрашивают данные — вместо модели push, ссылаясь на высокие издержки на уведомления при операциях push. Чан с этим не согласен: он утверждает, что pull на самом деле медленнее и что предпочтительнее улучшенные возможности сетевых адаптеров. Однако возможно, что они обсуждают разные уровни проблемы: отчёт говорит об издержках механизма уведомлений, тогда как Чан имеет в виду саму задержку передачи.

По функциям активации отчёт рекомендует заменить SwiGLU более простыми функциями, чтобы снизить вычислительную нагрузку. Чан не видит в этом смысла, отмечая, что Sonic MoE уже продемонстрировал оптимальную производительность, используя SwiGLU. Чан предполагает, что DeepSeek, возможно, «намеренно ослабил этот раздел».