Gate Newsメッセージ、4月24日 — ByteDanceのSeedチーム出身の元エンジニアであり、現在は北京大学の助教でもある張馳氏が、ポッドキャスト『Into Asia』で、ByteDanceが大規模言語モデルの学習(pretrainingを1サイクル完了するのに約6か月を要するほか、事後学習)も必要だと明らかにした。一方でGoogleは、報道によればわずか3か月で済む。張氏は、このスピードの違いが、中国企業がAI開発で追いつけないことの根本的な理由の1つだとした。
張氏は、Seed内に「ベンチマーク文化」があると述べた。そこでは、チームリーダーは自分が管轄するベンチマークスコアに基づいて評価され、全メンバーが数字の底上げに集中している。しかし、これは実際にはより良いユーザー体験につながらないと張氏は指摘した。中国の主要企業のモデルは、紙の上では米国のフロンティアモデルと競争力があるように見える一方で、実際の使用では劣っている。Seedの目標はグローバルなトップクラスの性能に到達することだが、張氏はチームがそれを達成できていないだけでなく、国内のリーダーシップ目標も満たしていないと語った。
2024年後半、Seedは自分たちをGPT-4oと同等だとみなしていたが、DeepSeekのリリース後に、そのギャップが依然として残っていることをチームは認識した。張氏が参加したときには、グループ全体が、短所を埋めるために強化学習へと急ぎで方向転換していた。
