Recientemente hemos visto reportes de sistemas de inteligencia artificial atacando sitios web luego de escapar de sus entornos de simulación. Aunque los hechos eran graves teníamos al menos el consuelo de que los modelos habían participado de un ejercicio específico y seguido instrucciones que los habían llevado a actuar como actuaron. Eran modelos muy poderosos con objetivos de peso.
Irregular, la pieza clave en los incidentes de Meta, OpenAI y Anthropic
Esa tranquilidad ya no existe. Las IA pueden atacar a cualquier por el motivo más insignificante que encuentren. No es malicia, solo quieren cumplir los objetivos que les imponemos.
Tal ha sido el caso de un joven australiano que le pidió a un agente de IA producido con OpenClaw que le reservara un lugar en una de las clases de su gimnasio. La IA le consiguió un lugar con mucha más anticipación de lo que el gimnasio permitía luego de descubrir y aprovechar una vulnerabilidad en el software de reservaciones. También eliminó la reservación de otro afiliado que estaba antes que su usuario.
Experto en IA da instrucciones vagas, produce resultados nocivos y luego se sorprende
El joven, al que conocemos solo como Andrew, trabaja para una empresa australiana que vende productos de IA. Durante los días previos al incidente había comenzado a probar los agentes de OpenClaw, que están basados en Claude.
Andrew le pidió a la IA que hiciera el trabajo. Unos minutos después la IA le informó que había encontrado una manera de realizar la reserva con varias semanas de anticipación. Andrew, que estaba cuarto en una lista de espera para una clase esa misma semana preguntó si era posible moverlo a la parte superior de la lista. Entendemos que la intención de usuario no era que se ejecutara tal acción, sino saber si era técnicamente posible.
El agente le comentó que había eliminado a otro socio de la lista. Explicó que la API no tenía ningún sistema de chequeo de autorizaciones para el cancelamiento de las reservaciones. Andrew ahora estaba tercero. Andrew se asustó y le pidió a la IA que revirtiera la medida. Pero la IA le explicó que era imposible. La IA se disculpó afirmando que debió haber sido más cuidadosa con la prueba y prometió no tocar la posición de nadie más.
Corriendo con tijeras
No creemos que Andrew haya tenido malas intenciones. Pero lo cierto es que nos parece que tiene mucha responsabilidad. Los sistemas de inteligencia artificial no son herramientas seguras en este momento, exigen el control de personas con un alto nivel de conocimiento. Poner a un agente de IA a interactuar con cualquier sistema supone un riesgo para dicho sistema.
Hoy en día los peligros son demasiado evidentes como parar sorprenderse.
