PrismML phát hành Bonsai 27B, mô hình 27 tỷ tham số đầu tiên chạy trên iPhone với dung lượng 3,9GB

Theo Decrypt, PrismML đã phát hành Bonsai 27B vào ngày 16 tháng 7, là mô hình AI đầu tiên có quy mô 27 tỷ tham số chạy trên điện thoại thông minh phổ thông. Mô hình đã được nén xuống còn 3,9GB và hoạt động trên iPhone 17 Pro Max với tốc độ 11 token mỗi giây. Kỹ thuật nén giúp giảm trọng số mô hình từ độ chính xác dấu phẩy động 16-bit xuống các giá trị tam phân (1 dương hoặc -1 âm), khiến phiên bản nhị phân có kích thước nhỏ hơn 14 lần so với bản dùng độ chính xác đầy đủ.

CEO của PrismML, Babak Hassibi, xác nhận công ty đang trong giai đoạn thảo luận ban đầu với Apple về công nghệ nén. Mô hình được phát hành theo giấy phép Apache 2.0, với kế hoạch nén Gemma tiếp theo.