Según un informe del Financial Times Amazon ha tenido que ponerle límites al uso de los sistemas de inteligencia artificial porque los gastos de sus equipos de trabajo habían aumentado notablemente. Los ingenieros de la compañía analizaron el devenir de varios proyectos. Descubrieron que en muchos casos el uso de los modelos había producido costos más allá de lo que se había presupuestado originalmente.
En un ejemplo particularmente dramático se consumieron unos USD 1,8 millones en Claude Sonnet. Esto supuso un exceso del 860% respecto a lo presupuestado originalmente. Fueron 5 meses de trabajo que luego fracasaron en su implementación. Otros incidentes han supuesto cantidades inferiores a los USD 500 mil e incluso a los USD 150 mil.
El costo del token
A pesar de calificar los resultados de forma interna como catastróficos, la versión oficial hacia afuera señala que la organización está experimentando, aprendiendo y mejorando. Dentro de este proceso de aprendizaje se incluye el manejo de los costos.
La evaluación interna sostiene que pequeños errores en los sistemas convencionales tienen repercusiones económicas menores. Sin embargo, los errores en sistemas en los que interviene una IA tienden a ser mucho más costosos. La cantidad de tokens utilizados en un trabajo puede escalar rápidamente cuando se producen iteraciones en un proceso. Además, Claude 4.7 y versiones posteriores consumen un 30% más de tokens para producir el mimos texto. Es decir, el mismo trabajo, aunque con mayor poder de cómputo, es mucho más costoso hoy en día.
Controles
Hace un tiempo les contamos como algunas empresas habían eliminado los incentivos para el uso de tokens. Los ingenieros de Amazon señalaron que establecerán sistemas para limitar el consumo.
La era del token maxing parece haber llegado a su fin y la razón regresado a la organizaciones.
