Antigo Engenheiro da ByteDance Seed: A iteração de IA da ByteDance demora seis meses, em comparação com os três meses do Google

Mensagem de Gate News, 24 de abril — Zhang Chi, um antigo engenheiro da equipa Seed da ByteDance e atualmente professor assistente na Universidade de Pequim, revelou no podcast "Into Asia" que a ByteDance necessita de aproximadamente seis meses para concluir um ciclo completo de treino de pré-formação de modelos de linguagem de grande dimensão (pretraining mais pós-treino), enquanto o Google, segundo se afirma, precisa apenas de três meses. Zhang atribuiu a diferença de velocidade como uma razão central pela qual as empresas chinesas têm dificuldade em acompanhar o desenvolvimento de IA.

Zhang descreveu uma "cultura de benchmark" dentro da Seed, em que os líderes de equipa são avaliados com base nas pontuações de referência que supervisionam, e todos os membros se concentram em aumentar os números. No entanto, referiu que isto não se traduz, na prática, numa melhor experiência do utilizador. Embora os modelos das principais empresas chinesas pareçam competitivos com os modelos de fronteira dos EUA em termos de papel, ficam aquém na utilização real. O objetivo da Seed é alcançar um desempenho de topo a nível global, mas Zhang afirmou que não acredita que a equipa tenha atingido esse patamar, nem que tenha alcançado a meta de liderança doméstica.

No final de 2024, a Seed considerava-se equivalente ao GPT-4o, mas após o lançamento da DeepSeek, a equipa reconheceu que a diferença continuava. Quando Zhang se juntou, todo o grupo estava a mudar com urgência para a aprendizagem por reforço para colmatar a lacuna.