Kỹ sư OpenAI Clive Chan Thách thức Khuyến nghị Phần cứng của V4, Trích dẫn Lỗi và Tính Mơ hồ so với V3

Tin tức cổng Gate, ngày 24 tháng 4 — Kỹ sư OpenAI Clive Chan đã đưa ra những phản đối chi tiết đối với chương khuyến nghị phần cứng trong báo cáo kỹ thuật V4, gọi chương này là "đáng ngạc nhiên là tầm thường và dễ gây lỗi" so với phiên bản V3 được ca ngợi. Hướng dẫn phần cứng của V3, bao gồm các buổi Q&A đã trở thành chủ đề thảo luận phổ biến nhất tại hội nghị học thuật ISCA, đưa ra các khuyến nghị cụ thể phù hợp với các tiêu chuẩn kết nối liên ngành trong ngành. Ngược lại, V4 lại còn mơ hồ hơn rất nhiều.

Chan đã phản biện có hệ thống ba khuyến nghị then chốt. Về mức tiêu thụ điện năng, báo cáo cho rằng việc tối ưu hóa phần mềm cho phép chip chạy đồng thời ở mức công suất tối đa cho tính toán, lưu trữ và truyền thông, đồng thời khuyến nghị các nhà sản xuất chip dành ra thêm phần dự trữ công suất. Chan lập luận rằng điều này phản tác dụng: tổng công suất của chip bị giới hạn bởi các hạn chế của quy trình vật lý, do đó việc dành thêm biên công suất chỉ làm giảm tần số hoạt động, cuối cùng kéo giảm hiệu suất tính toán. Đối với truyền dữ liệu GPU-GPU, báo cáo đề xuất mô hình kéo—trong đó các GPU chủ động nạp dữ liệu—thay vì mô hình đẩy, viện dẫn chi phí thông báo cao trong các thao tác đẩy. Chan phản bác điều này, cho rằng mô hình kéo thực ra còn chậm hơn và năng lực bộ điều hợp mạng được cải thiện sẽ là lựa chọn tốt hơn. Tuy nhiên, hai bên có thể đang thảo luận về những lớp khác nhau của vấn đề: báo cáo đề cập đến chi phí do cơ chế thông báo, còn Chan lại nói về độ trễ truyền tải.

Về các hàm kích hoạt, báo cáo khuyến nghị thay thế SwiGLU bằng các hàm đơn giản hơn để giảm gánh nặng tính toán. Chan không thấy có giá trị trong việc này, lưu ý rằng Sonic MoE đã chứng minh hiệu suất tối ưu khi sử dụng SwiGLU. Chan nghi ngờ DeepSeek có thể đã "cố ý làm suy yếu phần này."