O Software Synapse aplica a tecnologia TurboQuant para reduzir os custos de processamento de documentos de IA

Mensagem de Notícias do Gate, 15 de abril — A Synapse Software integrou o TurboQuant, um algoritmo de quantização vetorial desenvolvido pela Google Research, à sua solução Synap OCR IX para aprimorar os recursos de IA de documentos, enquanto reduz os custos de adoção de IA corporativa.

O TurboQuant comprime o cache KV usado por (LLMs) e modelos de linguagem com visão (VLMs), reduzindo o consumo de memória ao processar documentos longos. Isso possibilita um processamento de dados mais rápido na mesma infraestrutura de GPU. A tecnologia aborda gargalos de memória que antes exigiam uma infraestrutura de GPU cara, especialmente ao lidar com contextos estendidos e processamento em grandes lotes sem degradação de desempenho.

A Synapse Software também oferece suporte a ambientes baseados em CPU para empresas que não conseguem implantar infraestrutura de GPU. Por meio de perfis de precisão, a empresa alcançou processamento de inferência apenas com CPU de aproximadamente 100 documentos por minuto, com perda de qualidade mantida abaixo de 1%, reduzindo o custo total de propriedade (TCO). A abordagem flexível de infraestrutura permite a adoção de OCR com IA em setores sensíveis à segurança, como finanças e administração pública, nos quais a implantação on-premises e as limitações de infraestrutura anteriormente dificultavam a implementação de IA.