PrismML publie Bonsai 27B, premier modèle de 27 milliards de paramètres exécuté sur iPhone avec une taille de 3,9 Go

D’après Decrypt, PrismML a publié Bonsai 27B le 16 juillet, le premier modèle d’IA comptant 27 milliards de paramètres à pouvoir tourner sur des smartphones grand public. Le modèle est compressé à 3,9 Go et fonctionne sur iPhone 17 Pro Max à 11 jetons par seconde. La technique de compression réduit les poids du modèle, passant d’une précision en virgule flottante 16 bits à des valeurs ternaires (1 positif ou -1 négatif), ce qui rend la variante binaire 14 fois plus petite que la version en pleine précision.

Le PDG de PrismML, Babak Hassibi, a confirmé que l’entreprise est en pourparlers préliminaires avec Apple au sujet de la technologie de compression. Le modèle est publié sous la licence Apache 2.0, avec des projets de compression de Gemma ensuite.