Los seres humanos pueden fallar, pero la mirada de la máquina es precisa y calculadora. Salvo que en la era de las IA un grupo de investigadores ha descubierto un modo de engañar a los modelos para que no puedan identificar correctamente lo que ven.
Las consecuencias de un ataque que utilizara esta técnica podrían ser en extremo graves. Un vehículo podría perder la capacidad de detectar a un ser humano o reconocer una señal de tránsito. En un futuro con unidades autónomas como piezas claves en el tránsito en cualquier momento tendríamos una tragedia.
La técnica de ataque
Tianfu Wu, de la Universidad de Carolina del Sur, es uno de los autores del trabajo. Wu ha detallado las operaciones que realiza la técnica conocida como RissingAttacK.
El sistema identifica todas las cualidades presentadas en una imagen. Luego establece que partes son las más importantes para conseguir el objetivo del ataque. Si la imagen se usa para identificar un auto, busca los elementos que le permiten a la IA identificar el auto.
RissingAttacK calcula la sensibilidad de la IA a los cambios en aspectos claves. Con la información obtenida se realizan los cambios a la imagen. El objetivo es que las modificaciones sean lo más pequeñas posibles.
Wu explica que así se obtiene una segunda imagen que es “igual” a la original. El ser humano puede ver un auto en ambas. Pero la IA encontrará el vehículo en una y no en la segunda. El sistema también puede hacer que el modelo vea otros objetos que ha sido entrenado para identificar.
Preparando una defensa
RissingAttacK ha sido probada contra sistemas de identificación de imágenes. Todavía queda por ver que tan efectiva puede ser con los modelos generativos. El objetivo final de los investigadores es desarrollos defensas contra este tipo de amenazas.
