Empresas recortan el gasto en IA mientras los costos de tokens se disparan en 2024

Según Barron's, las empresas están reevaluando sus inversiones en IA tras enfrentar sobrecostos inesperados de Tokens en 2024, con la transparencia de precios y el control presupuestario convirtiéndose en grandes desafíos en Wall Street.

Los modelos de razonamiento y los agentes de IA son los principales generadores de costos. Los modelos de razonamiento realizan largos cálculos internos antes de generar resultados, consumiendo muchos más Tokens que el texto final producido. Los agentes de codificación de IA son aún más costosos, requiriendo hasta 1.000 veces más Tokens que los programadores humanos para completar tareas equivalentes. Muchas empresas están implementando paneles para monitorear el uso de IA por parte de los empleados y están optando por modelos más eficientes en costos, incluyendo alternativas de menor costo provenientes de China o esperando recortes de precios de los principales proveedores. Añadiendo complejidad, diferentes proveedores de modelos cuentan los Tokens de manera diferente—el método de conteo de Anthropic muestra un uso entre un 30-40% más alto que el de la competencia—lo que dificulta que los analistas puedan rastrear las tendencias de adopción de IA.