Інженер OpenAI Клайв Чан Оскаржує Рекомендації щодо Апаратного Забезпечення V4, Посилаючись на Помилки та Невизначеність Порівняно з V3

Повідомлення Gate News, 24 квітня — інженер OpenAI Клайв Чан висунув детальні заперечення до розділу з рекомендаціями щодо апаратного забезпечення у технічному звіті V4, назвавши його "дивовижно посереднім і таким, що схильний до помилок" порівняно з відомою версією V3. Апаратні рекомендації V3, які включали сесії Q&A, що стали найпопулярнішою темою для обговорення на академічній конференції ISCA, пропонували конкретні рекомендації, узгоджені з галузевими стандартами інтерконекту. Натомість V4 є значно більш невизначеним.

Чан системно оскаржив три ключові рекомендації. Щодо споживання електроенергії, у звіті стверджується, що оптимізація програмного забезпечення дозволяє чипам одночасно працювати на повну потужність для обчислень, зберігання та зв’язку, і рекомендується виробникам чипів залишати додатковий запас потужності. Чан вважає це контрпродуктивним: загальна потужність чипа обмежена фізичними обмеженнями процесу, тож резервування більшого запасу потужності лише знижує робочу частоту, зрештою зменшуючи обчислювальну продуктивність. Щодо передавання даних між GPU, у звіті пропонується модель pull — коли GPU активно отримують дані — замість моделі push, посилаючись на високу накладну вартість сповіщень у операціях push. Чан заперечує це, стверджуючи, що pull насправді повільніший і що були б кращими покращені можливості мережевих адаптерів. Однак вони можуть обговорювати різні рівні проблеми: звіт говорить про накладні витрати механізму сповіщень, тоді як Чан має на увазі саму затримку передавання.

Щодо функцій активації, у звіті рекомендується замінити SwiGLU на простіші функції, щоб зменшити обчислювальне навантаження. Чан не бачить у цьому жодної користі, зазначаючи, що Sonic MoE вже продемонстрував оптимальну продуктивність із використанням SwiGLU. Чан припускає, що DeepSeek може мати "навмисно ослабив цей розділ."