Ex-engenheiro da Seed da ByteDance: A iteração de IA da ByteDance leva seis meses vs. os três meses do Google

Mensagem do Gate News, 24 de abril — Zhang Chi, ex-engenheiro da equipe Seed da ByteDance e atual professor assistente na Universidade de Pequim, revelou no podcast "Into Asia" que a ByteDance exige aproximadamente seis meses para concluir um ciclo completo de treinamento de pré-treinamento de modelo de linguagem grande (pretraining mais pós-treinamento), enquanto o Google, supostamente, precisa apenas de três meses. Zhang atribuiu a diferença de velocidade como um motivo central pelo qual as empresas chinesas têm dificuldades para alcançar o ritmo no desenvolvimento de IA.

Zhang descreveu uma "cultura de benchmarking" dentro da Seed, em que os líderes de equipe são avaliados com base nas pontuações de benchmarks que eles supervisionam, e todos os membros se concentram em aumentar os números. No entanto, ele observou que isso não se traduz em uma melhor experiência do usuário na prática. Embora os modelos das principais empresas chinesas pareçam competitivos com os modelos de fronteira dos EUA no papel, eles ficam aquém no uso real. O objetivo da Seed é alcançar desempenho de primeira linha global, mas Zhang declarou que não acredita que a equipe tenha atingido isso, nem que tenha alcançado a meta de liderança doméstica.

No fim de 2024, a Seed se via em igualdade com o GPT-4o, mas após o lançamento do DeepSeek, a equipe reconheceu que a lacuna permanecia. Quando Zhang entrou, todo o grupo estava mudando urgentemente para aprendizado por reforço para lidar com a deficiência.