PrismML ra mắt Bonsai 27B, mẫu AI 27B nén chỉ còn 3,9 GB dành cho iPhone

Theo PrismML, công ty đã phát hành Bonsai 27B, một mô hình AI nén với 27 tỷ tham số, chỉ nặng 3,9 GB, vào đầu tuần này—nhỏ đến mức có thể chạy trên iPhone 17 Pro Max với tốc độ 11 token mỗi giây. Phiên bản ba trị giữ lại 94,6% hiệu năng so với các bài benchmark chuẩn ở mức độ “đầy đủ” về độ chính xác, vượt trội hơn các bản Qwen low-bit thông thường vốn gần gấp đôi dung lượng và sụp đổ ở cả các tác vụ toán học lẫn lập trình. Phiên bản nhị phân đạt 1,125 bit cho mỗi trọng số bằng cách lượng tử hóa các tham số mô hình thành các bit nhị phân riêng lẻ, kèm các hệ số tỉ lệ dùng chung.

Theo CNBC, Apple đang trao đổi sớm với PrismML về công nghệ nén. CEO PrismML Babak Hassibi xác nhận công ty đang đánh giá công nghệ này để có thể đưa lên thiết bị. Mô hình Gemma đã được nén sẽ là bước tiếp theo, sau đó là các mô hình biên lớn hơn; hiện đã có Bonsai 27B 1-bit để tải miễn phí theo Apache 2.0.