OpenAI et Broadcom lancent la puce Jalapeño pour l'inférence de LLM à grande échelle.

OpenAI et Broadcom ont annoncé Jalapeño, une nouvelle puce conçue spécifiquement pour l'inférence de grands modèles de langage dans les centres de données. L'ASIC a été développée à partir de zéro en neuf mois, sur la base des informations des chercheurs d'OpenAI et éclairée par la feuille de route produits de l'entreprise.

Broadcom affirme que Jalapeño est plus spécialisée pour les besoins actuels des LLM que les matériels d'inférence existants. OpenAI déclare que les premiers tests montrent que la puce offre des performances par watt nettement meilleures que les solutions actuelles, bien que les résultats techniques détaillés seront publiés dans les mois à venir.