A Cline testa a auto-hospedagem do Kimi K2.6: só poupa 10%, e não compensa abaixo de $500K de despesas anuais

De acordo com o acompanhamento de Beating AI, Cline calculou os custos de auto-hospedagem do Kimi K2.6 em ambiente de produção real. Processar 5,83 mil milhões de tokens por mês via API custa aproximadamente 185.000 dólares. Ao executar 16 GPUs NVIDIA B200 em plena capacidade para o tráfego base, enquanto as restantes solicitações são encaminhadas via API, a conta desce para 166.000 dólares, poupando apenas cerca de 10%.

Cline estima que a calendarização dinâmica de GPUs poderia aumentar as poupanças para 22%-25% e que uma optimização adicional poderia potencialmente atingir 35%-40%, embora estas estratégias ainda permaneçam por testar em produção. A empresa conclui que a auto-hospedagem só se torna economicamente viável quando a despesa anual com API excede 500.000-2 milhões de dólares; abaixo desse patamar, os custos de infra-estrutura e de engenharia normalmente superam as poupanças.