ゲートニュースメッセージ、4月15日 — Synapse Softwareは、Google Researchによって開発されたベクトル量子化アルゴリズムであるTurboQuantを、Synap OCR IXソリューションに統合し、ドキュメントAI機能を強化するとともに、エンタープライズのAI導入コストを削減します。
TurboQuantは、大規模言語モデル (LLMs)とビジョン言語モデル (VLMs)が使用するKVキャッシュを圧縮し、長文書を処理する際のメモリ消費を抑えます。これにより、同じGPUインフラ上でより高速にデータ処理を行えるようになります。この技術は、拡張コンテキストや、大規模バッチ処理を行ってもパフォーマンスが低下しないようにするために、これまで高価なGPUインフラが必要だったメモリのボトルネックに対処します。
Synapse Softwareはまた、GPUインフラを導入できない企業向けにCPUベースの環境もサポートしています。精密なプロファイリングにより、同社は品質低下を1%未満に抑えたまま、CPUのみでの推論処理を1分あたり約100ドキュメントで実現しました。これにより、総保有コスト (TCO) を引き下げます。柔軟なインフラストラクチャアプローチにより、オンプレミスでの導入やインフラ上の制約によってこれまでAIの実装が妨げられてきた、金融や公共行政などのセキュリティ重視の分野でAI OCRの導入が可能になります。
