Synapse Software Áp dụng Công nghệ TurboQuant để Giảm Chi phí Xử lý Tài liệu AI

Tin tức Cổng, ngày 15 tháng 4 — Synapse Software đã tích hợp TurboQuant, một thuật toán lượng tử hóa vectơ được phát triển bởi Google Research, vào giải pháp Synap OCR IX của họ để nâng cao năng lực AI cho tài liệu đồng thời giảm chi phí triển khai AI cho doanh nghiệp.

TurboQuant nén bộ nhớ đệm KV được sử dụng bởi các mô hình ngôn ngữ lớn (LLMs) và các mô hình ngôn ngữ đa phương thức (VLMs), làm giảm mức tiêu thụ bộ nhớ khi xử lý các tài liệu dài. Điều này cho phép xử lý dữ liệu nhanh hơn trên cùng hạ tầng GPU. Công nghệ này giải quyết các nút thắt về bộ nhớ trước đây đòi hỏi hạ tầng GPU đắt đỏ, đặc biệt khi xử lý ngữ cảnh mở rộng và xử lý theo lô lớn mà không làm suy giảm hiệu năng.

Synapse Software cũng hỗ trợ các môi trường dựa trên CPU cho các doanh nghiệp không thể triển khai hạ tầng GPU. Thông qua đo đạc hiệu năng chính xác, công ty đã đạt được xử lý suy luận chỉ bằng CPU với tốc độ khoảng 100 tài liệu mỗi phút trong khi mức suy giảm chất lượng được giữ dưới 1%, qua đó hạ thấp tổng chi phí sở hữu (TCO). Cách tiếp cận hạ tầng linh hoạt này cho phép triển khai AI OCR trong các lĩnh vực nhạy cảm về an ninh như tài chính và quản lý công, nơi trước đây việc triển khai tại chỗ và các ràng buộc về hạ tầng đã cản trở việc triển khai AI.