根據 PrismML,該公司本週早些時候發布了 Bonsai 27B——一款 270 億參數的 AI 模型,經壓縮後僅 3.9 GB,縮到足以在 iPhone 17 Pro Max 上以每秒 11 個 token 的速度運行。三元版本保留了完整精度基準效能的 94.6%,其表現優於傳統的低位元 Qwen 建置;後者體積幾乎大了一倍,且在數學與程式編寫任務上可能失準。二元版本透過將模型參數量化為帶有共享縮放因子的單一二進位符號,達到每個權重 1.125 bits。
根據 CNBC,Apple 正與 PrismML 就該壓縮技術進行早期洽談。PrismML 執行長 Babak Hassibi 確認,該公司正在評估此技術以用於潛在的裝置端應用。接下來的則是流程中的一個壓縮後的 Gemma 模型,隨後為更大型的前沿模型;1-bit Bonsai 27B 可在 Apache 2.0 下免費下載。