Một LLM 28,9 triệu tham số, chạy trên vi điều khiển ESP32 giá 8 USD.


Thực ra điều đó có nghĩa là gì:
> ESP32 là con chip nằm bên trong các thiết bị IoT rẻ tiền, không phải board phát triển có GPU
> 28,9 triệu tham số là rất nhỏ theo chuẩn phòng thí nghiệm nhưng lại rất lớn đối với phần cứng có sẵn vài KB RAM để dư
> suy luận đầy đủ ngay trên thiết bị, không cần gọi lên đám mây, không có độ trễ do vòng về mạng
Edge AI ngày càng bị đóng khung như một dạng “phần cứng đắt đỏ”. Còn đây là hướng ngược lại. Mức sàn giờ là tiền vừa đủ để thay đệm ghế sofa.
Xem bản gốc
post-image
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Đã ghim