Engenheiro da OpenAI Clive Chan questiona recomendações de hardware da V4, citando erros e falta de clareza em relação à V3

Mensagem do Gate News, 24 de abril — o engenheiro da OpenAI, Clive Chan, levantou objeções detalhadas ao capítulo de recomendações de hardware no relatório técnico V4, chamando-o de "surpreendentemente medíocre e propenso a erros" em comparação com a aclamada versão V3. A orientação de hardware da V3, que incluía sessões de Q&A que se tornaram o tópico de discussão mais popular na conferência acadêmica ISCA, ofereceu recomendações específicas alinhadas com padrões de interconexão da indústria. A V4, por outro lado, é muito mais vaga.

Chan contestou sistematicamente três recomendações-chave. Em consumo de energia, o relatório sugere que a otimização de software permite que os chips executem computação, armazenamento e comunicação com capacidade total simultaneamente, e recomenda que os fabricantes de chips reservem margem de energia adicional. Chan argumenta que isso é contraproducente: o poder total do chip é limitado por limitações do processo físico, então reservar mais margem de energia apenas reduz a frequência de operação, diminuindo, por fim, o desempenho computacional. No que diz respeito à transferência de dados de GPU para GPU, o relatório defende um modelo pull—no qual as GPUs buscam ativamente os dados—em vez de um modelo push, citando alto overhead de notificação nas operações push. Chan contesta isso, afirmando que o pull na verdade é mais lento e que capacidades aprimoradas do adaptador de rede seriam preferíveis. No entanto, os dois podem estar discutindo camadas diferentes do problema: o relatório aborda o overhead do mecanismo de notificação, enquanto Chan se refere à própria latência de transmissão.

Quanto às funções de ativação, o relatório recomenda substituir o SwiGLU por funções mais simples para reduzir a carga computacional. Chan não vê mérito nisso, observando que o Sonic MoE já demonstrou desempenho ideal usando SwiGLU. Chan suspeita que o DeepSeek possa ter "enfraquecido deliberadamente esta seção."