PrismML выпускает Bonsai 27B: ИИ-модель объемом 3,9 ГБ запускается на iPhone

PrismML выпустила Bonsai 27B на этой неделе: модель на 27 миллиардов параметров, сжатая до 3,9 ГБ, которая работает на iPhone 17 Pro Max со скоростью 11 токенов в секунду. Троичный вариант сохраняет 94,6% результатов бенчмарков при полной точности, при этом умещаясь в ограничения памяти смартфона; это первый случай, когда модель такого уровня возможностей прошла по бюджету памяти потребительского устройства. Метод сжатия, основанный на интеллектуальной собственности Caltech, уменьшает каждый вес модели с 16 бит до одного знакового значения; в бинарном варианте это даёт 1,125 бита на вес — в 14 раз меньше, чем у исходника при полной точности.

Технология сжатия сводит веса модели к знаковым значениям

Метод сжатия уменьшает каждый вес модели с 16 бит точности с плавающей точкой до одного знака — +1 или -1 в бинарной сборке, и одного из трёх значений в троичном варианте. Каждая группа из 128 весов делит общий масштабный коэффициент на 16 бит. Троичная модель добавляет нулевое состояние для чуть более выразительной мощности и выходит на 1,71 бита на вес. Троичный вариант объёмом 5,9 ГБ показывает около 26 токенов в секунду на ноутбуке M5 Pro.

Никакого «выхода» в более высокую точность не предусмотрено: эмбеддинги, attention и весь head языковой модели сжимаются end-to-end. Большинство квантизированных сборок оставляют некоторые чувствительные слои на полной точности, что увеличивает их размер — как компромисс за лучшее качество. Модель использует гибридный backbone attention: примерно 75% слоёв линейные, а не attention полного квадратичного типа, поэтому контекстное окно на 262K токенов становится практичным на устройстве.

В марте PrismML поставила Bonsai 8B — модель на 1,15 ГБ, которая показала, что 1-битная архитектура может «выживать» при 8 миллиардах параметров. Обе модели доступны по лицензии Apache 2.0.

Усреднённая эффективность бенчмарков — 80,49 на 15 тестах

На 15 бенчмарках, оценённых в режиме thinking на GPU NVIDIA H100 — с задачами на знания, математику, кодинг и использование инструментов — Ternary Bonsai 27B в среднем набирает 80,49, то есть 94,6% от модели полной точности. Бинарный вариант на 1 бите показывает 76,11. AIME25 и AIME26, смоделированные по American Invitational Mathematics Examination, дают 93,7% для Ternary Bonsai 27B против 95,3% для Qwen 3,6B. Bonsai набирает 86 баллов в кодинге против 88 у Qwen 3,6 и 77% по общим знаниям против 83 у Qwen 3,6.

PrismML поставляет вместе с моделью слой DSpark для спекулятивного декодирования: лёгкий «драфтер», который предлагает блоки кандидатов-токенов, а основная модель проверяет их за один forward pass вместо генерации токен за токеном. На H100 это добавляет ускорение throughput в 1,37 раза без изменения качества вывода. На Apple Silicon пока не включено по умолчанию.

Практические тесты дают работоспособный код и творческое письмо

Источник протестировал Bonsai 27B в игре Zombie Type — браузерной игре про печатание от первого лица с элементами хоррора. Два раунда кодинга обеспечили аккуратное обнаружение коллизий, корректную логику скоринга и графику, которая держалась вместе. Модель схватывает структуру рано: второй проход уточняет, а не перестраивает заново. Некоторые модели выглядели более проработанными, чем те, что были у GPT 5.6 Sol.

Для творческого письма Bonsai создаёт истории с согласованной внутренней логикой, темпом и дугой — на уровне Claude Haiku или даже Sonnet при меньших усилиях на сопоставимых промптах. Результаты не особо впечатляют по оригинальности с zero-shot промптами.

Apple оценивает технологию для использования на устройстве

Apple на ранней стадии обсуждений с PrismML лежащей в основе технологией сжатия сообщает CNBC. CEO PrismML Бабак Хасcиби подтвердил CNBC, что компания ведёт ранние переговоры с Apple, которая рассматривает технологию сжатия для потенциального применения на устройстве. Хасcиби сказал, что в следующей части пайплайна будет сжатая модель Gemma, а затем — более крупные frontier-модели.

FAQ

Что такое модель PrismML Bonsai 27B?
Bonsai 27B — это модель ИИ на 27 миллиардов параметров, сжатая до 3,9 ГБ, которая работает на iPhone 17 Pro Max со скоростью 11 токенов в секунду. Троичный вариант сохраняет 94,6% результатов бенчмарков полной точности благодаря технологии сжатия, основанной на интеллектуальной собственности Caltech, которая сводит веса модели к знаковым значениям.

Как Bonsai 27B показывает себя на бенчмарках?
На 15 бенчмарках, оценённых на GPU NVIDIA H100, Ternary Bonsai 27B в среднем набирает 80,49, то есть 94,6% от модели полной точности. На математических тестах AIME она получает 93,7%, на задачах по кодингу — 86 баллов, а по общим знаниям — 77% — при этом потребляя значительно меньше памяти, чем сопоставимые модели.