A Perplexity lança o benchmark WANDR para avaliar as capacidades de pesquisa em IA

A Perplexity AI apresentou o WANDR (Wide ANd Deep Research), um benchmark aberto criado para avaliar o desempenho de sistemas de inteligência artificial em tarefas de pesquisa em larga escala, em 14 de julho de 2026. A estrutura contém 500 tarefas realistas de coleta de dados modeladas em trabalho profissional de conhecimento, incluindo análise de mercado, due diligence, revisões de literatura, inteligência competitiva, comparações de produtos e prospecção de talentos. O benchmark foi lançado para enfrentar o desafio que os sistemas de IA atuais enfrentam ao identificar grandes quantidades de entidades relevantes e verificar cada resultado com evidências de suporte. Segundo a Perplexity, mesmo o modelo com melhor desempenho na avaliação da empresa obteve uma pontuação F1 “soft” de 0,363 e uma F1 “hard” de 0,133, indicando que a pesquisa ampla e baseada em evidências ainda está longe de ser totalmente automatizada. O benchmark inclui mais de 170.000 registros com base em fontes distribuídos em suas 500 tarefas, oferecendo um ambiente de testes em larga escala para agentes de IA orientados à pesquisa em uma indústria na qual uma cobertura abrangente de centenas ou até milhares de registros é crucial para o trabalho profissional de conhecimento.

Perplexity avalia seis sistemas de pesquisa em IA usando o benchmark WANDR

A Perplexity avaliou seis sistemas de pesquisa em IA em produção usando o WANDR sob condições idênticas de teste. Sua plataforma Search as Code (SaC) alcançou o melhor desempenho geral, registrando uma F1 “soft” de 0,363 e uma F1 “hard” de 0,133. A Anthropic ficou em segundo lugar com pontuações de 0,249 e 0,072, enquanto os outros sistemas avaliados não ultrapassaram uma F1 “soft” de 0,121. O estudo também constatou que aumentar o esforço computacional geralmente melhorou o desempenho para vários modelos, embora custos mais altos e tempos de processamento mais longos nem sempre tenham se traduzido em resultados melhores.

Diferentemente de benchmarks tradicionais de IA que se concentram em gerar uma única resposta ou um relatório escrito, o WANDR mede a capacidade de um sistema de IA de identificar um grande número de entidades relevantes e verificar cada resultado com evidências de suporte. O benchmark pretende refletir fluxos de pesquisa do mundo real, nos quais o sucesso depende não apenas de encontrar informações corretas, mas também de obter uma cobertura abrangente em centenas ou até milhares de registros.

WANDR usa um processo de avaliação sem referências para validação de pesquisa em IA

O WANDR utiliza um processo de avaliação sem referências que verifica cada reivindicação submetida em relação às evidências citadas pelo sistema de IA, em vez de comparar os resultados com um gabarito de respostas fixo. Cada reivindicação é verificada quanto à qualidade da fonte, precisão factual, relevância e se os trechos de apoio realmente sustentam as informações apresentadas. Essa abordagem pretende refletir melhor a pesquisa do mundo real, em que as informações mudam ao longo do tempo e conjuntos completos de respostas são difíceis de manter.

O benchmark também fornece diagnósticos detalhados para identificar onde os sistemas de IA falham durante tarefas de pesquisa complexas. O desempenho pode ser medido em múltiplas etapas, incluindo descoberta de informações, enriquecimento de dados, correspondência de identidade, validação de fontes e extração de evidências, permitindo que os desenvolvedores apontem fragilidades além das pontuações gerais de precisão.

A Perplexity disse que o benchmark foi criado para servir como um recurso aberto para pesquisadores e desenvolvedores que trabalham com sistemas de busca e pesquisa baseados em IA. Além do benchmarking, o WANDR também pode apoiar futuras técnicas de aprendizado por reforço ao fornecer feedback estruturado em cada etapa do processo de pesquisa, permitindo que os modelos de IA aprimorem não apenas a precisão factual, mas também o planejamento, a cobertura e a coleta de evidências em escala.

FAQ

O que a Perplexity AI lançou em 14 de julho de 2026?

A Perplexity AI lançou o WANDR (Wide ANd Deep Research), um benchmark aberto desenvolvido para avaliar o desempenho de sistemas de inteligência artificial em tarefas de pesquisa em larga escala que exigem tanto a descoberta ampla de informações quanto a coleta detalhada de evidências.

Como a plataforma Search as Code da Perplexity se saiu na avaliação WANDR?

A plataforma Search as Code (SaC) da Perplexity alcançou o melhor desempenho geral entre seis sistemas de pesquisa em IA avaliados, registrando uma F1 “soft” de 0,363 e uma F1 “hard” de 0,133.

O que o processo de avaliação sem referências do WANDR verifica?

O processo de avaliação sem referências do WANDR verifica cada reivindicação submetida em relação às evidências citadas pelo sistema de IA, checando a qualidade das fontes, a precisão factual, a relevância e se os trechos de apoio realmente sustentam as informações apresentadas.