PrismML Rilis Bonsai 27B, Model Pertama dengan Parameter 27 Miliar yang Berjalan di iPhone dengan Memori 3,9GB

Menurut Decrypt, PrismML merilis Bonsai 27B pada 16 Juli, model AI pertama dengan 27 miliar parameter yang dapat berjalan di smartphone konsumen. Model ini dikompresi menjadi 3,9GB dan berjalan di iPhone 17 Pro Max dengan kecepatan 11 token per detik. Teknik kompresi ini menurunkan bobot model dari presisi floating-point 16-bit menjadi nilai ternary (1 untuk positif atau -1 untuk negatif), sehingga varian biner berukuran 14 kali lebih kecil dibanding versi berpresisi penuh.

CEO PrismML, Babak Hassibi, mengonfirmasi bahwa perusahaan sedang dalam pembahasan awal dengan Apple terkait teknologi kompresi. Model ini dirilis di bawah lisensi Apache 2.0, dengan rencana untuk mengompresi Gemma berikutnya.