Uno de los modelos de inteligencia artificial de Anthropic le presentó al Departamento de Policía de la ciudad de Filadelfia una pista para la resolución de un homicidio. Los datos llegaron al sitio web dedicado a casos sin resolver el 18 de julio.
“Podría tener información sobre el caso. Recuerdo haber visto a alguien que se ajustaba a la descripción en el aréa durante ese periodo de tiempo. Por favor contáctenme si esta información es relevante”.
Lamentablemente la información era un completo invento. Los tecnicos de Anthropic descubrieron lo ocurrido el 28 de septiembre y le advirtieron a las autoridades el 7 de octubre. Representantes de la empresa fueron al cuartel de policía principal al día siguiente.
En la carpeta de Spam
El detalle que hizo que la situación fuera algo menos grave es que la falsa pista presentada por la IA había quedado en la carpeta de spam. La policía de la ciudad explicó que los oficiales examinan todos los mensajes, sean automáticos o no, antes de pasarlos a los investigadores. A pesar de que los mecanismo funcionaron como debían, la jugada de la IA no ha caído nada bien.
“La ciudad de Filadelfia toma este incidente con mucha seriedad. La compañía debe reforzar sus medidas de seguridad para prevenir que incidentes similares golpeen los sistemas de la ciudad sin que esta se entere. Los dos meses de retrasos en la detección y el reporte del incidente a la ciudad son inaceptables”. Las autoridades de la ciudad han anticipado que continuarán investigando lo que ha sucedido y avanzarán en nuevas regulaciones protectoras tanto en el ámbito local como con sus aliados a nivel federal.
El incidentes
La compañía señala que todo ocurrió cuando a la IA se le planteo como ejercicio que interactuara con una serie de sitios seleccionados al azar. El modelo hizo lo que podía para interpretar las órdenes. Cuando le tocó el turno al sitio de pistas para crímenes sin resolver asumió el rol de un informante. Incluso afirmó ser “Alguien que puede tener información sobre el caso”.
Anthropic identificó al modelo responsable de la pista falsa como Claude Haiku 4.5. La IA había recibido instrucciones de no ingresar o crear ninguna cuenta, no poner datos personales o hacer compras, tampoco enviar material que pudiera ser destructivo. No le habían dicho nada de realizar presentaciones.
Evidentemente podemos confirmar que al menos en Anthropic las IA ya son más inteligentes que los seres humanos.
