Los modelos de inteligencia artificial han alcanzado un nivel en el que pueden responder rápidamente y con precisión a preguntas simples. Sin embargo, ahora se realizan tareas más complejas y multietapa, como la generación de informes financieros o el análisis con datos de CRM. Estos tipos de tareas aumentan exponencialmente el consumo de tokens, ya que deben volver a procesar toda la interacción previa en cada paso. Una sola tarea puede consumir millones de tokens.
Esta situación puede generar un costo mensual de 2.880 dólares por un empleado que genera un informe cada 15 minutos al día. En tareas aún más complejas, este monto puede superar los 28.800 dólares. Grandes empresas han comenzado a limitar sus gastos en IA debido a que estos costos superan los gastos laborales humanos. Empresas como OpenAI, Anthropic y Microsoft han adoptado facturación basada en el uso y establecido límites de tokens.
Soluciones técnicas —como el almacenamiento en caché de tokens o el procesamiento por lotes— pueden reducir los costos en decenas de por ciento. Sin embargo, a medida que los modelos se vuelven más inteligentes y los usuarios diseñan tareas más complejas, el consumo de tokens sigue aumentando constantemente. Por ello, mantener los costos bajo control sigue siendo un gran desafío.