Perusahaan Memangkas Belanja AI seiring Biaya Token Melonjak pada 2024

Menurut Barron's, perusahaan-perusahaan sedang mengevaluasi kembali investasi AI mereka setelah menghadapi pembengkakan biaya Token yang tidak terduga pada tahun 2024, dengan transparansi harga dan pengendalian anggaran menjadi tantangan utama di Wall Street.

Model penalaran dan agen AI merupakan pendorong biaya utama. Model penalaran melakukan perhitungan internal yang panjang sebelum menghasilkan keluaran, mengonsumsi Token yang jauh lebih banyak daripada teks akhir yang dihasilkan. Agen coding AI bahkan lebih mahal, membutuhkan hingga 1.000 kali lebih banyak Token daripada programmer manusia untuk menyelesaikan tugas yang setara. Banyak perusahaan kini menerapkan dasbor untuk memantau penggunaan AI oleh karyawan dan beralih ke model yang lebih efisien secara biaya, termasuk alternatif berbiaya lebih rendah dari China atau menunggu pemotongan harga dari penyedia utama. Menambah kompleksitas, penyedia model yang berbeda menghitung Token dengan cara yang berbeda—metode penghitungan Anthropic menunjukkan penggunaan 30-40% lebih tinggi dibandingkan pesaing—sehingga menyulitkan analis untuk melacak tren adopsi AI.