Marvell Technology thu hút sự chú ý của nhà đầu tư khi cuộc khủng hoảng năng lượng AI thúc đẩy cuộc đua hiệu suất chip

Marvell Technology đang thu hút sự chú ý từ các nhà đầu tư Phố Wall khi thị trường bán dẫn chuyển hướng sang hiệu quả năng lượng giữa cuộc khủng hoảng tiêu thụ điện do AI thúc đẩy. Theo Bloomberg, chi phí điện gần các trung tâm dữ liệu của Mỹ đã tăng 267% trong 5 năm qua, ảnh hưởng đến 13 trong số 50 tiểu bang của Mỹ khi khối lượng công việc AI tiêu thụ lượng điện lớn. Các công ty công nghệ lớn mua điện buôn được giảm giá trong khi người tiêu dùng dân cư phải chịu chi phí cao hơn, thúc đẩy ngành công nghiệp ưu tiên kiến trúc chip tiêu thụ điện thấp. Giáo sư Kim Hak-joo của Khoa Hội tụ AI của Đại học Handong Global giải thích rằng việc Marvell mua lại Inphi vào năm 2021—công ty hàng đầu về kết nối tín hiệu giữa các chip—định vị công ty để giải quyết nút thắt cốt lõi của AI: truyền dữ liệu giữa bộ nhớ và bộ xử lý, chiếm 40% mức tiêu thụ điện của AI.

Mức tiêu thụ điện của AI thúc đẩy chi phí điện tăng 267% tại các khu vực trung tâm dữ liệu Mỹ

Bloomberg đưa tin rằng chi phí điện ở các khu vực gần trung tâm dữ liệu của Mỹ đã tăng 267% so với 5 năm trước, với 13 trong số 50 tiểu bang của Mỹ hiện bị ảnh hưởng và phạm vi địa lý đang tiếp tục mở rộng. Các công ty công nghệ lớn vận hành trung tâm dữ liệu mua điện buôn, nhận được chiết khấu khiến gánh nặng chi phí chuyển sang người tiêu dùng dân cư. Mức tiêu thụ điện của AI được chia thành bốn hạng mục: truyền dữ liệu (40%), tản nhiệt và làm mát (35%), tính toán (15%) và duy trì lưu trữ dữ liệu (10%). Giám đốc khoa học của NVIDIA, Bill Dally, tuyên bố rằng AI tiêu thụ nhiều điện hơn nhiều khi truyền dữ liệu từ bộ nhớ bán dẫn ngoài (HBM) sang bộ xử lý (GPU) so với thực hiện các phép tính.

Ngành bán dẫn chuyển sang kiến trúc SRAM và CIM để tiết kiệm năng lượng

Ngành công nghiệp đang hướng tới việc sử dụng nhiều hơn SRAM—bộ nhớ nằm bên trong bộ xử lý GPU—thay vì bộ nhớ HBM bên ngoài để giảm khoảng cách truyền dữ liệu. Khi mức tiêu thụ điện tính toán bằng 1, việc truy xuất dữ liệu từ bộ nhớ SRAM nội bộ cần 5-10 đơn vị điện, trong khi lấy dữ liệu từ bộ nhớ HBM bên ngoài tiêu thụ 100-1000 đơn vị do điện trở tín hiệu trên khoảng cách dây đồng dài hơn và nhu cầu khuếch đại tín hiệu. Các công ty bao gồm Groq và Cerebras đã thiết kế chip được nhồi đầy SRAM, loại bỏ kết nối HBM bên ngoài bất chấp những hạn chế của SRAM về dung lượng, kích thước vật lý và chi phí. Ngành công nghiệp cũng đang phát triển kiến trúc Chip-in-Memory (CIM) tích hợp bộ xử lý trực tiếp vào bộ nhớ để giảm thiểu khoảng cách truyền hơn nữa.

Marvell Technology giành lợi thế cạnh tranh nhờ thương vụ mua lại Inphi

Marvell Technology đã mua lại Inphi vào năm 2021, có được quyền truy cập vào chuyên môn hàng đầu thế giới về kết nối tín hiệu giữa các bán dẫn. Inphi đã nắm giữ vị trí thống trị trong cả kết nối tín hiệu vi mô trong không gian chip chật hẹp và các giải pháp mạng truyền thông quang học. Các công ty công nghệ lớn bao gồm Google, Microsoft và Amazon yêu cầu sở hữu trí tuệ của Inphi để thiết kế mạng chip-to-chip (ASIC), mang lại cho Inphi đòn bẩy đàm phán đáng kể ngay cả với các công ty công nghệ lớn. Ngành công nghiệp đang chuyển đổi phương tiện truyền dữ liệu từ dây đồng sang truyền thông quang học dựa trên laser để giảm tiêu thụ điện và sinh nhiệt khi truy xuất khối lượng dữ liệu lớn từ bộ nhớ HBM bên ngoài, một lĩnh vực mà Inphi duy trì các giải pháp hàng đầu.

Câu hỏi thường gặp

Điều gì khiến chi phí điện gần các trung tâm dữ liệu của Mỹ tăng 267%? Theo Bloomberg, chi phí điện ở các khu vực trung tâm dữ liệu của Mỹ đã tăng 267% trong 5 năm do mức tiêu thụ điện AI khổng lồ, hiện ảnh hưởng đến 13 trong số 50 tiểu bang của Mỹ với tác động địa lý ngày càng mở rộng.

Tại sao Marvell Technology mua lại Inphi vào năm 2021? Marvell đã mua lại Inphi vào năm 2021 để có được quyền truy cập vào công nghệ hàng đầu thế giới về kết nối tín hiệu chip-to-chip và mạng truyền thông quang học, những khả năng cần thiết cho kiến trúc chip AI tiêu thụ điện thấp vì truyền dữ liệu chiếm 40% mức tiêu thụ điện của AI.

Làm thế nào SRAM giảm mức tiêu thụ điện của AI so với bộ nhớ HBM? SRAM nằm bên trong bộ xử lý GPU cần 5-10 đơn vị điện để truy xuất dữ liệu khi tính toán sử dụng 1 đơn vị, trong khi bộ nhớ HBM bên ngoài tiêu thụ 100-1000 đơn vị do khoảng cách truyền dữ liệu dài hơn và yêu cầu khuếch đại tín hiệu trên dây đồng.