OpenAI dan Broadcom Luncurkan Chip Jalapeño untuk Inferensi LLM dalam Skala Besar

OpenAI dan Broadcom telah mengumumkan Jalapeño, sebuah chip baru yang dirancang khusus untuk inferensi model bahasa besar di pusat data. ASIC ini dikembangkan dari awal selama sembilan bulan berdasarkan wawasan dari para peneliti OpenAI dan berdasarkan peta jalan produk perusahaan.

Broadcom mengatakan Jalapeño lebih terspesialisasi untuk kebutuhan LLM saat ini dibandingkan perangkat keras inferensi yang ada. OpenAI mengklaim pengujian awal menunjukkan chip ini memberikan kinerja per watt yang jauh lebih baik dibandingkan solusi saat ini, meskipun temuan teknis terperinci akan dipublikasikan dalam beberapa bulan mendatang.