Apple đang đàm phán với PrismML, một startup được Khosla Ventures hậu thuẫn, để đánh giá công nghệ nén mô hình AI có thể giúp các mô hình AI mạnh mẽ chạy trực tiếp trên iPhone, CEO PrismML Babak Hassibi cho biết với CNBC. Vào hôm thứ Ba, PrismML đã công bố các phiên bản mô hình Qwen đã được nén của Alibaba, giảm kích thước mô hình từ khoảng 54 GB xuống dưới 4 GB trong khi vẫn giữ nguyên toàn bộ 27 tỷ tham số để chạy trên iPhone 15 hoặc các thiết bị đời mới hơn. Các cuộc thảo luận nhằm giải quyết các ràng buộc trong chiến lược AI của Apple khi công ty mở beta công khai của iOS 27 sớm hơn 1 ngày, cho phép người dùng iPhone truy cập Siri đã được đại tu nhưng vẫn giữ nhiều phần xử lý trên thiết bị hơn. Hassibi mô tả các cuộc đàm phán là “rất sớm”, nhưng nói “mọi việc đang tiến triển tốt”, khi Apple và các công ty khác đánh giá tốc độ, hiệu suất năng lượng và hiệu năng của công nghệ. Công nghệ này có thể giảm chi phí điện toán đám mây và củng cố định vị về quyền riêng tư của Apple bằng cách cho phép các tính năng AI hoạt động mà không cần kết nối internet.
PrismML Phát hành Mô hình Qwen Đã Nén với Mức Giảm từ 54 GB xuống 4 GB
PrismML, một công ty tách ra từ California Institute of Technology, đã giảm mô hình Qwen mã nguồn mở của Alibaba từ khoảng 54 GB xuống dưới 4 GB vào hôm thứ Ba. Việc nén cho phép tất cả 27 tỷ tham số chạy trên iPhone 15 hoặc thiết bị mới hơn. Startup này thu nhỏ các mô hình AI bằng cách đơn giản hóa cách lưu trữ thông tin nội bộ, giảm mỗi giá trị từ 16 bit xuống chỉ còn một hoặc ba giá trị khả dĩ. Hassibi so sánh cách tiếp cận này với bước chuyển của ngành công nghiệp chip từ tính toán 8-bit sang 4-bit.
Theo PrismML, các mô hình đã nén sử dụng ít bộ nhớ hơn từ 10 đến 15 lần, tạo phản hồi nhanh hơn 6 đến 8 lần và tiêu thụ ít năng lượng hơn từ 3 đến 6 lần so với các phiên bản thông thường chạy trên phần cứng hiện có. Hassibi thừa nhận các mô hình thường bị giảm vài điểm phần trăm về hiệu năng tổng thể, trong đó khả năng ghi nhớ kiến thức suy yếu trước các kỹ năng như lập luận, toán học và lập trình. PrismML đang phát hành miễn phí 2 phiên bản mô hình đã nén, được thiết kế để chạy trên iPhone, MacBook và PC dùng Nvidia.
Apple Đánh giá Xử lý AI Trên Thiết bị để Giảm Phụ thuộc Đám mây
“Hiện họ đang thực sự đánh giá công nghệ của chúng tôi ngay bây giờ,” Hassibi nói về Apple. Các cuộc thảo luận vẫn chưa rõ sẽ dẫn đến đâu, nhưng Hassibi cho biết mọi thứ đang tiến triển. Apple có thể gửi các yêu cầu phức tạp tới các mô hình trên nền tảng đám mây, nhưng chạy nhiều AI trực tiếp trên iPhone sẽ giảm độ trễ khi gửi dữ liệu tới máy chủ từ xa, hạ chi phí điện toán đám mây và hỗ trợ “bài toán” về quyền riêng tư của công ty. Cách tiếp cận này cũng sẽ cho phép một số tính năng hoạt động mà không cần internet.
Carolina Milanesi, chủ tịch kiêm nhà phân tích chính của Creative Strategies, cho biết các mô hình nhỏ hơn có thể giúp Apple đưa nhiều tính năng đòi hỏi hơn lên iPhone, bao gồm nhiếp ảnh tính toán, tạo video và các công cụ sức khỏe hoặc thể dục dựa vào dữ liệu cá nhân nhạy cảm. “Bạn có thể làm nhiều hơn trên thiết bị thì càng tốt,” bà nói, đồng thời chỉ ra dữ liệu sức khỏe và thuốc men mà người dùng sẽ muốn giữ riêng tư. Apple đã chạy một phần hệ thống AI của mình cục bộ, bao gồm dịch thuật, một số tính năng tóm tắt và các tính năng gắn chặt với thông tin cá nhân.
PrismML Huy động Vòng Seed 16,25 Triệu USD vào Tháng 3
Công nghệ này xuất phát từ nhóm nghiên cứu của Hassibi tại Caltech. Trường đại học sở hữu các bằng sáng chế nền tảng và cấp phép độc quyền cho PrismML. Vào tháng 3, công ty đã huy động 16,25 triệu USD ở vòng seed, được hậu thuẫn bởi Khosla Ventures và các nhà đầu tư khác. Hassibi cho biết mô hình Gemma mã nguồn mở của Google là hạng mục tiếp theo trong lộ trình, sau đó là các mô hình lớn hơn nhiều, bao gồm các mô hình từ các phòng thí nghiệm tiên phong mà hiện nay nhìn chung cần phần cứng trung tâm dữ liệu.
Theo PrismML, về lâu dài, công nghệ này có thể mở rộng tốt hơn ra ngoài điện thoại và laptop sang robot, hệ thống tự động và các sản phẩm khác cần đưa ra quyết định nhanh mà không cần dựa vào kết nối đám mây. “Điều rất quan trọng là trí tuệ phải ở cục bộ và có thể chạy nhanh,” Hassibi nói. Horace Dediu, nhà sáng lập Asymco, cho biết Apple có khả năng đang cố gắng giữ phần lớn các tương tác Siri phổ biến trên thiết bị, trong khi dành các tác vụ đòi hỏi cao nhất cho đám mây.
Giới phân tích Đặt Câu hỏi về Tác động Pin và Hiệu năng Thực tế
Tarun Pathak, giám đốc nghiên cứu tại Counterpoint Research, cho biết hiệu năng của mô hình trên các prompt dài, mức tiêu thụ pin khi đa nhiệm và độ tin cậy trong hàng triệu yêu cầu sẽ là yếu tố then chốt. “Bài kiểm tra cuối cùng sẽ là hàng triệu truy vấn, hàng nghìn tổ hợp thiết bị và thử nghiệm quy mô lớn một cách vững chắc,” Pathak nói. Phil Solis, người dẫn dắt mảng nghiên cứu bộ xử lý client của IDC, cho biết mức tiêu thụ điện năng có thể là câu hỏi lớn nhất còn bỏ ngỏ. Một mô hình đủ mạnh để được dùng thường xuyên hoặc liên tục ở chế độ nền cho các tác vụ kiểu tác nhân có thể làm hao pin của điện thoại dù nó dùng ít bộ nhớ hơn.
Gil Luria, nhà phân tích tại D.A. Davidson, cho biết việc thu nhỏ mô hình sẽ không loại bỏ nhu cầu về bộ xử lý hoặc bộ nhớ. Nó có thể đơn giản là chuyển nhiều chip hơn từ trung tâm dữ liệu sang điện thoại và các thiết bị khác. “Không phải là bạn sẽ không cần chip,” Luria nói. “Bạn vẫn sẽ cần GPU, và bạn vẫn sẽ cần bộ nhớ.” Ông cho biết việc chạy AI trên từng thiết bị cá nhân thực ra có thể kém hiệu quả hơn so với sử dụng hạ tầng trung tâm dữ liệu dùng chung vì các con chip trong điện thoại có thể rảnh phần lớn thời gian.
Morgan Stanley ước tính chi phí bộ nhớ truy cập ngẫu nhiên động (DRAM) trung bình của Apple theo mỗi bit có thể tăng khoảng 190% so với cùng kỳ năm trước vào năm tài khóa 2027, trong khi chi phí NAND tăng khoảng 180%. Công ty dự kiến Apple sẽ nâng giá khởi điểm của các mẫu iPhone 18 tương đương thêm khoảng 200 USD để bảo vệ biên lợi nhuận. Cổ phiếu Micron đã lao dốc vào tháng 3 sau khi Google công bố bài nghiên cứu TurboQuant về cách cắt giảm việc sử dụng bộ nhớ mà không làm suy giảm hiệu năng mô hình, dù sau đó cổ phiếu đã phục hồi. Pathak nói rằng sự kết hợp giữa AI trên đám mây và trên thiết bị có thể mang lại một trải nghiệm AI đầy đủ hơn, hiệu quả hơn và tập trung vào quyền riêng tư hơn, với các tác vụ phức tạp được chuyển sang đám mây và các tác vụ nhạy cảm, cần độ trễ thấp được thực thi trên thiết bị.
Câu hỏi thường gặp
PrismML đã phát hành gì vào hôm thứ Ba?
Vào hôm thứ Ba, PrismML đã công bố các phiên bản mô hình Qwen mã nguồn mở của Alibaba đã được nén. Công ty đã giảm mô hình từ khoảng 54 GB xuống dưới 4 GB, cho phép tất cả 27 tỷ tham số chạy trên iPhone 15 hoặc thiết bị mới hơn.
Công nghệ nén của PrismML hoạt động như thế nào?
PrismML thu nhỏ các mô hình AI bằng cách đơn giản hóa mạnh mẽ cách lưu trữ thông tin nội bộ, giảm mỗi giá trị từ 16 bit xuống chỉ còn một hoặc ba giá trị khả dĩ. Theo công ty, các mô hình đã nén dùng ít bộ nhớ hơn từ 10 đến 15 lần, tạo phản hồi nhanh hơn 6 đến 8 lần và tiêu thụ ít năng lượng hơn từ 3 đến 6 lần so với các phiên bản thông thường.
Vì sao Apple đánh giá xử lý AI trên thiết bị?
Chạy nhiều AI trực tiếp trên iPhone sẽ giảm độ trễ liên quan đến việc gửi dữ liệu tới máy chủ từ xa, giảm chi phí điện toán đám mây và hỗ trợ định vị về quyền riêng tư của Apple. Theo nguồn tin, cách tiếp cận này cũng sẽ cho phép một số tính năng hoạt động mà không cần kết nối internet.
