Yapay zeka modelleri, basit sorulara hızlı ve doğru cevap verebilecek seviyeye ulaştı. Ancak artık daha karmaşık, çok aşamalı görevler — örneğin finansal rapor üretimi veya CRM verileriyle analiz — yapılıyor. Bu tür görevler, her soruda önceki tüm etkileşimleri yeniden işlemek zorunda kaldığı için token tüketimini katlanarak artırıyor. Bir tek görevde milyonlarca token harcanabiliyor.

Bu durum, günlük 15 dakikada bir çalışan bir raporun aylık 2.880 dolar maliyetine yol açabiliyor. Daha karmaşık görevlerde bu rakam 28.800 doları aşabiliyor. Büyük şirketler, bu maliyetlerin insan maliyetlerini geçmesi nedeniyle AI harcamalarını kısıtlamaya başladı. OpenAI, Anthropic ve Microsoft gibi şirketler de kullanım tabanlı faturalandırmaya geçerek token sınırları koydu.

Teknik çözümler — örneğin token önbellekleme veya toplu işleme — maliyetleri yüzde onlarca azaltabiliyor. Ancak modellerin daha akıllı hale gelmesi ve kullanıcıların daha karmaşık görevler tasarlaması, token tüketimini sürekli artırıyor. Bu nedenle, maliyetlerin kontrol altına alınması halen büyük bir zorluk olarak kalıyor.