OpenAI та Broadcom запускають Jalapeño Chip для інференції LLM в масштабі

OpenAI та Broadcom оголосали про Jalapeño — новий чіп, спеціально розроблений для інференції великих мовних моделей у центрах обробки даних. ASIC було створено з нуля за дев'ять місяців на основі напрацювань дослідників OpenAI та з урахуванням дорожньої карти продуктів компанії.

Broadcom зазначає, що Jalapeño більш спеціалізований для поточних потреб великих мовних моделей, ніж наявне обладнання для інференції. OpenAI стверджує, що раннє тестування показує значно кращу продуктивність на ват, ніж у поточних рішень, хоча детальні технічні результати будуть опубліковані в найближчі місяці.