Circula en el mundo de la IA una métrica atractiva: el Retorno Sobre Token (Return on Token), el valor creado por cada token gastado. Es un avance frente a la obsesión con el costo, pero arrastra un problema conocido: es una métrica por unidad. Y las métricas por unidad castigan la inversión que rinde después.

Pasó con el costo por clic en marketing digital, donde equipos enteros se optimizaron hasta comprar clics baratísimos e irrelevantes, lo que implicó que bajaba el costo unitario y no se movía una sola venta. El número mejoraba mientras el resultado empeoraba.

En IA el riesgo es idéntico y hay datos. Un estudio del MIT y Wharton sobre más de cien mil desarrolladores mostró que la IA disparaba el volumen de código generado hasta 180%, pero esa ganancia se desplomaba a apenas 30% en software efectivamente lanzado a producción. El cuello de botella no fue el modelo, sino la revisión humana, es decir probar, integrar, empaquetar y aprobar, porque optimizar el valor por token no descomprime ese cuello, lo esconde.

Peor aún: esa segunda cifra no vino del mismo estudio, sino de un experimento aparte de METR con desarrolladores experimentados de código abierto. Vale la pena ser precisos porque las dos cifras suelen circular mezcladas. METR encontró que esos programadores creían haber sido 20% más rápidos usando IA, cuando en los hechos habían tardado 19% más. Meses después, el instituto de investigación Model Evaluation and Threat Research (METR) reconoció un sesgo de selección en el diseño original (porque muchos desarrolladores se negaban a participar si los obligaban a trabajar sin IA) y calificó ese resultado como histórico, no necesariamente vigente con las herramientas actuales. Aun con esa salvedad, la lección sobrevive: la percepción de velocidad y la velocidad real pueden ir en direcciones opuestas, y ningún tablero de Retorno Sobre Token detecta esa brecha.

La trampa aparece cada vez que un equipo reporta “ahorramos tanto en tokens” sin preguntar qué pasó después con lo que produjo la IA. Un chatbot de atención al cliente que resuelve consultas a un costo mínimo por interacción, pero deriva a un humano el 40% de los casos mal resueltos, no ahorró nada: trasladó el costo y lo hizo más caro, porque ahora incluye la frustración del cliente y el tiempo de investigar qué falló. Lo mismo aplica a un asistente que redacta código, contratos o campañas: el token barato que produce un borrador mediocre no es gratis, es una factura que se cobra después, con intereses, en forma de reprocesos.

Por eso la métrica correcta es el Retorno sobre la Inversión (Return on Outcome), porque a veces conviene invertir tres veces más en tokens en la primera pasada (más contexto, más verificación, más iteración del modelo) para no gastar diez veces más horas de un profesional senior corrigiendo lo que llegó a medias. El token adicional no es costo, es lo que evita la fricción, los reprocesos y los ciclos que ningún ratio por interacción alcanza a registrar.

Para quienes deciden presupuestos de IA, la implicancia es concreta: pedir el ratio de tokens por resultado es cómodo, pero insuficiente. La pregunta que mueve la aguja es otra ¿cuánto de lo que produjo la IA sigue siendo útil varios pasos después, cuando ya pasó por revisión, por prueba, por el usuario real? Esa es la métrica que separa a una organización que usa IA de una que la sufre en silencio.

Por: Anil Sadarangani. Director de Innovación, Universidad de los Andes