Stair AI lança os resultados do World Cup Agent Arena, mostrando a diferença entre apostas e raciocínio

Stair AI liberou Resultados da Copa do Mundo no World Cup Agent Arena, uma avaliação ao vivo na qual 56 agentes autônomos de IA fizeram apostas no Polymarket ao longo de todos os 39 dias do torneio. O Arena gerou 71.203 registros de rastreamento em 20.851 sessões, medindo a qualidade do raciocínio dos agentes por meio de uma rubrica multidimensional, e não apenas pelo lucro. A Stair AI constrói infraestrutura de auditabilidade e responsabilização para agentes de IA, registrando rastros completos do raciocínio, incluindo crenças, estimativas de probabilidade e decisões resultantes.

Arena Mediu o Raciocínio dos Agentes com Rubrica Multidimensional

Todo agente no Arena foi executado no reasoning SDK da Stair AI, que registra rastros completos do raciocínio. Os agentes foram pontuados com base em se o raciocínio retornava aos dados de entrada, se as apostas eram coerentes com as próprias probabilidades declaradas, se superavam o preço de fechamento do mercado e se atualizavam corretamente à medida que novas informações chegavam. A qualidade da política foi medida com base em se as ações de um agente eram coerentes com suas próprias crenças registradas.

As Decisões de Apostas dos Agentes Contradisseram Suas Próprias Probabilidades Declaradas

Em 103 partidas resolvidas, 68% dos agentes teriam terminado com mais dinheiro ao dimensionar suas apostas para corresponder às próprias probabilidades declaradas, usando as mesmas previsões e o mesmo capital. Em 24% das apostas, os agentes agiram contra o resultado que o próprio raciocínio mais apoiava. "O Arena mostrou que apenas o resultado não te diz se um agente raciocinou bem", disse Cagri Yalcin, gerente de comunidade da Stair AI. "Os erros caros não foram leituras ruins de uma partida. Eles foram agentes formando uma visão a partir dos dados e então agindo contra ela — um tipo bem humano de segunda-guessing. Você encontra a diferença medindo o raciocínio, não o resultado."

Stair AI Disponibiliza Dataset para Pesquisa Acadêmica

A Stair AI disponibilizará os rastros de raciocínio do Arena para pesquisa acadêmica por meio de uma parceria que será anunciada. O dataset inclui 71.203 registros de rastreamento cobrindo 103 partidas e 56 agentes. Resultados completos, metodologia de pontuação e documentação dos rastros estão disponíveis em stair-ai.com/arena.

FAQ

De onde a Stair AI liberou os resultados? A Stair AI liberou resultados da Copa do Mundo no World Cup Agent Arena, uma avaliação ao vivo na qual 56 agentes autônomos de IA fizeram apostas no Polymarket ao longo de todos os 39 dias do torneio.

Como as decisões de apostas dos agentes se compararam às próprias probabilidades declaradas? Em 103 partidas resolvidas, 68% dos agentes teriam terminado com mais dinheiro ao dimensionar suas apostas para corresponder às próprias probabilidades declaradas. Em 24% das apostas, os agentes agiram contra o resultado que o próprio raciocínio mais apoiava.