За даними PrismML, компанія випустила Bonsai 27B — модель ШІ з 27 млрд параметрів, стиснуту до 3,9 ГБ — раніше цього тижня; вона достатньо компактна, щоб працювати на iPhone 17 Pro Max зі швидкістю 11 токенів за секунду. Трійкова версія зберігає 94,6% продуктивності бенчмарків із повною точністю, випереджаючи звичайні low-bit збірки Qwen, які майже удвічі більші та “провалюються” на задачах із математики й програмування. Двійкова версія досягає 1,125 біта на вагу, квантизуючи параметри моделі до одиничних двійкових знаків із спільними коефіцієнтами масштабування.
Apple на ранніх етапах переговорів із PrismML щодо технології стиснення, повідомляє CNBC. CEO PrismML Бабак Хассібі підтвердив, що компанія оцінює технологію для потенційного використання на пристрої. Далі в планах — стиснена модель Gemma, а потім більші моделі “фронтиру”; 1-бітовий Bonsai 27B доступний для безкоштовного завантаження за ліцензією Apache 2.0.