La semana pasada Hugging Face sufrió un ataque que sobrepaso gran parte de sus defensas. Afortunadamente la plataforma de distribución de modelos de inteligencia artificial logró contener al intruso. El intruso era un agente de inteligencia artificial. No era una sorpresa tan grande, aunque todavía no es lo más común ya hemos visto varios incidentes de este tipo y todo hace pensar que habrá cada vez más muy pronto.
Lo que no sabíamos era quien había sido el responsable del ataque. Esperábamos algún grupo criminal muy conocido o algún nuevo actor que nos sorprendiera. Sin embargo lo que sucedió es que OpenAI levantó la mano. Una combinación de modelos de inteligencia artificial pertenecientes a la compañía se salió de control mientras se realizaba una prueba interna. Entre los agentes involucrados había uno basado en GPT 5.6 Sol y otra variante aún más avanzada que todavía no ha sido dada a conocer.
Fuera de control
Según cuentan desde OpenAI estaban examinando la capacidad de sus modelos para sacar rédito de vulnerabilidades informáticas utilizando procedimientos de alta complejidad. La compañía afirma que el experimento se realizó en un entorno altamente aislado con el acceso a las redes restringido a la habilidad de instalar paquetes a través de un software que actuaba como intermediario.
Sin embargo, los modelos pasaron una gran parte de su tiempo considerando como podían hacer para obtener un acceso irrestricto a Internet. Para tal fin encontraron una vulnerabilidad en el software de control. Los modelos comenzaron a moverse a través de la red de OpenAI hasta que encontraron un nodo con el acceso a Internet que deseaban.
Las IA consideraron que Hugging Face podía tener modelos y base de datos que podían ser valiosas para alcanzar el objetivo original que los desarrolladores les habían propuesto. Esto es demostrar sus capacidades ofensivas. Por dicha razón no dudó en ganar un acceso no autorizado utilizando vulnerabilidades en el sistema y credenciales robadas.
Para el momento en que OpenAI se contactó con la plataforma el ataque ya estaba contenido.
Reflexiones
OpenAI señala que está trabajando con Hugging Face para evaluar el incidente. Apunta que todas las vulnerabilidades descubiertas han sido notificadas a los responsables de los sistemas afectados. Hugging Face ha sido incorporada al programa de acceso confiable y sus equipos de seguridad están siendo apoyados por técnicos de OpenAI. La compañía señala que mejorará la seguridad en futuros experimentos. Reconoce que necesita reforzar el alineamiento de los modelos para que su comportamiento no se desvíe tanto.
Hugging Face ha aprovechado la ocasión para señalar que el problema de la seguridad de las IA no puede resolverse con empresas trabajando de forma aislada y en secreto. Exige un entorno abierto, colaborativo y con un amplio acceso a las IA.
