A Perplexity lança o benchmark WANDR para capacidades de investigação em IA

A Perplexity AI introduziu o WANDR (Wide ANd Deep Research), um benchmark aberto concebido para avaliar a eficácia com que os sistemas de inteligência artificial executam tarefas de investigação em grande escala, a 14 de Julho de 2026. A estrutura inclui 500 tarefas realistas de recolha de dados, modeladas em trabalho de conhecimento profissional, incluindo análise de mercado, due diligence, revisões de literatura, inteligência competitiva, comparações de produtos e captação de talento. O benchmark foi lançado para enfrentar o desafio que os sistemas de IA actuais têm em identificar um grande número de entidades relevantes e verificar cada resultado com evidência de suporte. Segundo a Perplexity, mesmo o modelo com melhor desempenho na avaliação da empresa obteve uma pontuação soft F1 de 0,363 e uma hard F1 de 0,133, o que indica que a investigação ampla e suportada por evidência ainda está longe de ser totalmente automatizada. O benchmark inclui mais de 170.000 registos com base em fontes distribuídas pelas suas 500 tarefas, oferecendo um ambiente de teste em larga escala para agentes de IA orientados para investigação numa indústria em que a cobertura abrangente ao longo de centenas ou milhares de registos é crítica para o trabalho de conhecimento profissional.

Perplexity avalia seis sistemas de investigação em IA usando o benchmark WANDR

A Perplexity avaliou seis sistemas de investigação em IA de produção usando o WANDR sob condições de teste idênticas. O seu sistema Search as Code (SaC) alcançou o melhor desempenho geral, registando uma pontuação soft F1 de 0,363 e uma hard F1 de 0,133. A Anthropic ficou em segundo lugar com pontuações de 0,249 e 0,072, enquanto os outros sistemas avaliados não ultrapassaram uma pontuação soft F1 de 0,121. O estudo também concluiu que aumentar o esforço computacional melhora, em geral, o desempenho de vários modelos, embora custos mais elevados e tempos de processamento mais longos nem sempre se traduzam em melhores resultados.

Ao contrário dos benchmarks tradicionais de IA, que se focam em gerar uma única resposta ou um relatório escrito, o WANDR mede a capacidade de um sistema de IA para identificar um grande número de entidades relevantes e verificar cada resultado com evidência de suporte. O benchmark destina-se a reflectir fluxos de investigação do mundo real, em que o sucesso depende não apenas de encontrar informação exacta, mas também de alcançar cobertura abrangente ao longo de centenas ou até milhares de registos.

WANDR usa um processo de avaliação sem referência para validação de investigação em IA

O WANDR usa um processo de avaliação sem referência que verifica cada reivindicação submetida face à evidência citada pelo sistema de IA, em vez de comparar os resultados com uma chave de resposta fixa. Cada reivindicação é verificada quanto à qualidade da fonte, exactidão factual, relevância e se os excertos de suporte sustentam genuinamente a informação apresentada. Esta abordagem pretende reflectir melhor a investigação do mundo real, em que a informação muda ao longo do tempo e conjuntos de respostas completos são difíceis de manter.

O benchmark também fornece diagnósticos detalhados para identificar onde os sistemas de IA falham durante tarefas complexas de investigação. O desempenho pode ser medido em múltiplas fases, incluindo descoberta de informação, enriquecimento de dados, correspondência de identidades, validação de fontes e extracção de evidência, permitindo aos programadores localizar fragilidades para além das pontuações globais de exactidão.

A Perplexity afirmou que o benchmark se destina a servir como um recurso aberto para investigadores e programadores que trabalham em sistemas de pesquisa e investigação com IA. Para além do benchmarking, o WANDR também pode apoiar técnicas futuras de aprendizagem por reforço, fornecendo feedback estruturado em cada fase do processo de investigação, permitindo que os modelos de IA melhorem não só a exactidão factual, mas também o planeamento, a cobertura e a recolha de evidência em larga escala.

FAQ

O que é que a Perplexity AI lançou a 14 de Julho de 2026?

A Perplexity AI lançou o WANDR (Wide ANd Deep Research), um benchmark aberto concebido para avaliar quão eficazmente os sistemas de inteligência artificial executam tarefas de investigação em grande escala que exigem tanto a descoberta de informação abrangente como a recolha detalhada de evidência.

Como é que a plataforma Search as Code da Perplexity se saiu na avaliação WANDR?

A plataforma Search as Code (SaC) da Perplexity alcançou o melhor desempenho geral entre seis sistemas de investigação em IA avaliados, registando uma pontuação soft F1 de 0,363 e uma hard F1 de 0,133.

O que valida o processo de avaliação sem referência do WANDR?

O processo de avaliação sem referência do WANDR verifica cada reivindicação submetida face à evidência citada pelo sistema de IA, verificando a qualidade da fonte, exactidão factual, relevância e se os excertos de suporte sustentam genuinamente a informação apresentada.