PrismML lance Bonsai 27B, premier modèle IA 27B compressé à 3,9 Go pour iPhone

D’après PrismML, l’entreprise a publié Bonsai 27B, un modèle d’IA de 27 milliards de paramètres compressé à 3,9 Go, plus tôt cette semaine — suffisamment léger pour tourner sur un iPhone 17 Pro Max à 11 jetons par seconde. La variante ternaire conserve 94,6 % des performances de référence en pleine précision, surpassant des versions conventionnelles à faible nombre de bits de Qwen, qui sont presque deux fois plus volumineuses et s’effondrent sur les tâches de mathématiques et de code. La variante binaire atteint 1,125 bit par poids en quantifiant les paramètres du modèle en signes binaires uniques avec des facteurs d’échelle partagés.

Apple discute en amont avec PrismML de la technologie de compression, d’après CNBC. Le PDG de PrismML, Babak Hassibi, a confirmé que l’entreprise évalue cette technologie pour un usage potentiel sur appareil. Un modèle Gemma compressé constitue la prochaine étape, puis des modèles frontier plus grands ; Bonsai 27B en 1-bit est disponible en téléchargement gratuit sous Apache 2.0.