Apple thảo luận về nén mô hình AI với PrismML; các mô hình 27 tỷ tham số để chạy trên iPhone

Theo CEO của PrismML, Apple đang ở giai đoạn thảo luận sớm với startup AI PrismML để tích hợp công nghệ nén mô hình của hãng vào iPhone. Hợp tác này có thể giúp các mô hình AI với 27 tỷ tham số chạy trực tiếp trên thiết bị, qua đó nâng cao khả năng của Siri và củng cố vị thế về quyền riêng tư của Apple.

Vào ngày 14 tháng 7, PrismML công bố bước đột phá về nén: giảm mô hình Qwen mã nguồn mở của Alibaba từ 54GB xuống dưới 4GB trong khi vẫn giữ quy mô 27 tỷ tham số để vận hành mượt trên iPhone 15 và các thiết bị mới hơn. Công nghệ này cắt giảm mức sử dụng bộ nhớ 10–15 lần và tăng tốc độ phản hồi lên 6–8 lần, dù CEO cũng thừa nhận có những đánh đổi về khả năng ghi nhớ các sự kiện so với năng lực suy luận và viết mã.