Empresas cortam gastos com IA à medida que os custos de tokens disparam em 2024

De acordo com a Barron's, as empresas estão reavaliando seus investimentos em IA após enfrentarem estouros inesperados de custos com Tokens em 2024, com transparência de preços e controle de orçamento se tornando grandes desafios em Wall Street.

Modelos de raciocínio e agentes de IA são os principais impulsionadores de custos. Modelos de raciocínio realizam longas computações internas antes de gerar saídas, consumindo muito mais Tokens do que o texto final produzido. Agentes de IA para codificação são ainda mais caros, exigindo até 1.000 vezes mais Tokens do que programadores humanos para concluir tarefas equivalentes. Muitas empresas estão agora implementando dashboards para monitorar o uso de IA pelos funcionários e migrando para modelos mais eficientes em termos de custo, incluindo alternativas mais baratas da China ou aguardando cortes de preços dos principais provedores. Aumentando a complexidade, diferentes provedores de modelos contam Tokens de forma diferente — o método de contagem da Anthropic mostra um uso 30-40% maior do que o dos concorrentes — dificultando que analistas acompanhem as tendências de adoção de IA.