Penggunaan Token AI Menguji Kepercayaan Eksekutif pada Artificial Intelligence
Judul asli: ‘Pretty Crazy’ Token Usage Is Testing Bosses’ Bet on AI
Mengapa Ini Penting
Tokenomics menjadi tantangan operasional kritis karena biaya AI terus berfluktuasi dan model baru dirilis setiap bulan dengan harga berbeda-beda.
Perusahaan teknologi 8x8 menghemat $5 juta per tahun dengan menggunakan Claude dari Anthropic, sementara perusahaan lain seperti Meta dan Uber menerapkan batasan penggunaan karena biaya generative AI yang melonjak drastis.
Di perusahaan software 8x8, karyawan menggunakan Claude dari Anthropic untuk menulis email, menganalisis feedback pelanggan, dan menulis kode. Tidak seperti Meta, Uber, dan Salesforce yang menyatakan kekhawatiran biaya, 8x8 melaporkan kondisi finansial sehat. Dalam 18 bulan terakhir, perusahaan memperkirakan menghemat sekitar $5 juta per tahun dengan membatalkan langganan puluhan software dan tools pendidikan yang dianggap tidak perlu karena Claude dapat memberikan kemampuan serupa. Biaya tahunan Claude 8x8 masih jauh lebih rendah dari penghematan tersebut, menurut Joel Neeb, chief transformation and business operations officer. Perusahaan mengharapkan gap ini akan menyusut seiring lebih banyak karyawan mengadopsi AI. Secara industri, "tokenomics" atau manajemen biaya penggunaan AI menjadi fokus utama. Dalam enam bulan terakhir, penggunaan token Royal Bank of Canada melonjak 500 persen. Di Cisco, sepertiga karyawan menggunakan chatbot AI internal setiap hari, membuat CEO Chuck Robbins mengatakan "token usage-nya pretty, pretty crazy." CEO Amplitude melaporkan beberapa engineer top menghabiskan ribuan dolar per bulan untuk tokens. Sekitar 300 perusahaan membahas token usage dalam earnings call April-Mei, meningkat signifikan dari 93 perusahaan setahun sebelumnya. Eksekutif mengembangkan sistem untuk memantau penggunaan token dan memilih model termurah per prompt.