Cựu kỹ sư Seed của ByteDance: Lượt lặp AI của ByteDance mất sáu tháng so với ba tháng của Google

Tin tức Cổng, ngày 24 tháng 4 — Zhang Chi, cựu kỹ sư tại đội Seed của ByteDance và hiện là trợ giảng tại Đại học Bắc Kinh, đã tiết lộ trên podcast "Into Asia" rằng ByteDance cần khoảng sáu tháng để hoàn thành một chu kỳ đầy đủ huấn luyện mô hình ngôn ngữ lớn (pretraining cộng thêm hậu huấn luyện), trong khi Google theo như báo cáo chỉ cần ba tháng. Zhang cho rằng sự chênh lệch tốc độ này là một lý do cốt lõi khiến các công ty Trung Quốc gặp khó khăn trong việc bắt kịp phát triển AI.

Zhang mô tả một "văn hóa đánh giá chuẩn" trong Seed, nơi các trưởng nhóm được đánh giá dựa trên điểm số benchmark mà họ giám sát, và mọi thành viên đều tập trung vào việc nâng cao các con số. Tuy nhiên, ông cho biết điều này không chuyển hóa thành trải nghiệm người dùng tốt hơn trong thực tế. Mặc dù các mô hình của các công ty lớn của Trung Quốc có vẻ cạnh tranh với các mô hình frontier của Mỹ trên giấy tờ, chúng lại thua kém trong cách sử dụng thực tế. Mục tiêu của Seed là đạt hiệu năng thuộc nhóm hàng đầu toàn cầu, nhưng Zhang cho biết ông không tin rằng nhóm đã đạt được điều đó, và cũng chưa đạt được mục tiêu dẫn dắt trong nước.

Vào cuối năm 2024, Seed tự đánh giá mình ngang với GPT-4o, nhưng sau khi DeepSeek ra mắt, nhóm nhận ra khoảng cách vẫn còn. Khi Zhang tham gia, cả nhóm đang khẩn trương chuyển hướng sang học tăng cường để bù đắp sự thiếu hụt.