Cline teste l’auto-hébergement Kimi K2.6 : il ne permet d’économiser que 10 %, ce qui n’est pas suffisant pour que cela vaille le coup en dessous de $500K de dépenses annuelles

D’après Beating AI monitoring, Cline a calculé les coûts de self-hébergement de Kimi K2.6 en conditions réelles de production. Le traitement de 5,83 milliards de tokens par mois via l’API coûte environ 185 000 dollars. En faisant tourner 16 GPU NVIDIA B200 à pleine capacité pour le trafic de base tout en acheminant le reste des requêtes via l’API, la facture tombe à 166 000 dollars, soit une économie d’à peine 10 %.

Cline estime que l’ordonnancement dynamique des GPU pourrait augmenter les économies à 22 %-25 %, et qu’avec une optimisation supplémentaire, elles pourraient atteindre 35 %-40 %, bien que ces stratégies restent non testées en production. L’entreprise conclut que le self-hébergement ne devient économiquement viable que lorsque les dépenses annuelles d’API dépassent 500 000-$2 millions ; en dessous de ce seuil, les coûts d’infrastructure et d’ingénierie dépassent généralement les économies.