OpenAI y Broadcom lanzan Jalapeño Chip para inferencia de LLM a escala

OpenAI y Broadcom han anunciado Jalapeño, un nuevo chip diseñado específicamente para la inferencia de modelos de lenguaje grandes en centros de datos. El ASIC fue desarrollado desde cero durante nueve meses basándose en los conocimientos de los investigadores de OpenAI y en la hoja de ruta del producto de la empresa.

Broadcom afirma que Jalapeño está más especializado para las necesidades actuales de los LLM que el hardware de inferencia existente. OpenAI asegura que las primeras pruebas muestran que el chip ofrece un rendimiento por vatio sustancialmente mejor que las soluciones actuales, aunque los hallazgos técnicos detallados se publicarán en los próximos meses.