PrismML a publié Bonsai 27B plus tôt cette semaine : un modèle d'IA de 27 milliards de paramètres compressé à 3,9 Go qui tourne sur un iPhone 17 Pro Max à 11 tokens par seconde. La variante ternaire conserve 94,6 % des performances des tests de référence en pleine précision, tout en tenant dans les contraintes de mémoire d'un smartphone. C'est la première fois qu'un modèle de ce niveau de capacité dépasse le budget mémoire d'un appareil grand public. La méthode de compression, construite sur une propriété intellectuelle de Caltech, réduit chaque poids du modèle de 16 bits à une valeur de signe unique : la variante binaire tombe ainsi à 1,125 bit par poids, soit 14 fois moins que l'original en pleine précision.
La technologie de compression réduit les poids du modèle à des valeurs de signe
La méthode de compression fait passer chaque poids du modèle de 16 bits de précision en virgule flottante à un seul signe : +1 ou -1 dans la version binaire, et l'une de trois valeurs dans la variante ternaire. Chaque groupe de 128 poids partage un facteur d'échelle codé sur 16 bits. Le modèle ternaire ajoute un état zéro pour une expressivité légèrement supérieure et s'établit à 1,71 bit par poids. La variante ternaire, à 5,9 Go, atteint environ 26 tokens par seconde sur un ordinateur portable M5 Pro.
Il n'existe pas d'option de sortie vers une précision plus élevée : les embeddings, l'attention et la tête complète du modèle de langage sont comprimés de bout en bout. La plupart des configurations quantifiées conservent certaines couches sensibles en pleine précision, ce qui augmente leur taille en contrepartie d'une meilleure qualité. Le modèle utilise une base d'attention hybride où environ 75 % des couches sont linéaires plutôt qu'une attention quadratique complète, ce qui rend une fenêtre de contexte de 262K tokens pratique sur l'appareil.
En mars, PrismML a livré Bonsai 8B, un modèle de 1,15 Go qui a prouvé que l'architecture 1-bit pouvait survivre à 8 milliards de paramètres. Les deux modèles sont gratuits sous licence Apache 2.0.
Les performances de référence affichent une moyenne de 80,49 sur 15 tests
Sur 15 benchmarks évalués en mode « thinking » sur des GPU NVIDIA H100—couvrant connaissance, mathématiques, codage et usage d'outils—Ternary Bonsai 27B affiche une moyenne de 80,49, soit 94,6 % du modèle en pleine précision. La variante 1-bit atteint 76,11. AIME25 et AIME26, modélisés sur l'American Invitational Mathematics Examination, montent à 93,7 % pour Ternary Bonsai 27B contre 95,3 % pour Qwen 3,6B. Bonsai obtient 86 points en codage contre 88 pour Qwen 3,6 et 77 % en connaissance générale contre 83 pour Qwen 3,6.
PrismML fournit avec le modèle une couche de décodage spéculatif DSpark : un « drafter » léger qui propose des blocs de tokens candidats, que le modèle principal vérifie lors d'un seul passage forward plutôt que de générer token par token. Sur un H100, cela ajoute un gain de débit de 1,37x sans changement de qualité de sortie. Sur Apple Silicon, ce n'est pas encore activé par défaut.
Tests en conditions réelles : code fonctionnel et écriture créative
La source a testé Bonsai 27B sur un jeu Zombie Type—un jeu navigateur d'horreur de frappe en vue à la première personne. Deux manches de codage ont produit une détection des collisions propre, une logique de score adéquate et des graphismes qui tiennent ensemble. Le modèle saisit la structure tôt ; le deuxième passage affine plutôt que de reconstruire. Certains modèles paraissaient plus élaborés que ceux issus de GPT 5.6 Sol.
Pour l'écriture créative, Bonsai génère des histoires avec une logique interne cohérente, un rythme et une trajectoire—au niveau de Claude Haiku, voire de Sonnet, avec un effort plus faible sur des prompts comparables. Les résultats ne sont pas particulièrement imaginatifs avec des prompts en zero-shot.
Apple évalue la technologie pour une utilisation sur appareil
Apple discute en amont avec PrismML de la technologie de compression sous-jacente, d'après CNBC. Le PDG de PrismML, Babak Hassibi, a confirmé à CNBC que l'entreprise est en discussions précoces avec Apple, qui évalue la technologie de compression pour une utilisation potentielle sur appareil. Hassibi a indiqué qu'un modèle Gemma compressé arrive ensuite dans la file de développement, suivi de modèles « frontier » plus grands.
FAQ
Quel est le modèle Bonsai 27B de PrismML ?
Bonsai 27B est un modèle d'IA de 27 milliards de paramètres compressé à 3,9 Go qui tourne sur un iPhone 17 Pro Max à 11 tokens par seconde. La variante ternaire conserve 94,6 % des performances des tests de référence en pleine précision grâce à une technologie de compression construite sur une propriété intellectuelle de Caltech qui réduit les poids du modèle à des valeurs de signe.
Comment Bonsai 27B se comporte-t-il sur les benchmarks ?
Sur 15 benchmarks évalués sur des GPU NVIDIA H100, Ternary Bonsai 27B affiche une moyenne de 80,49, soit 94,6 % du modèle en pleine précision. Sur les tests de mathématiques AIME, il obtient 93,7 %, sur les tâches de codage 86 points, et sur la connaissance générale 77 %—tout en nécessitant nettement moins de mémoire que des modèles comparables.
