El estado de Florida, Estados Unidos, ha presentado una demanda en contra de OpenAI y su CEO acusándolos de ser una parte responsable en varios incidentes que han puesto en peligro y lastimado a menores. Según el fiscal general, James Uthmeier, la compañía llevó adelante una campaña de marketing muy agresiva al tiempo en que ocultaba los riesgos del sistema.
En la demanda se citan numerosos incidentes violentos en los que ChatGPT ofreció información que ayudó a los responsables. La empresa y el ejecutivo habrían ignorado advertencias internas y externas. Como consecuencia pusieron a niños en peligro y permitieron que un producto peligroso estuviera a disposición de millones de ciudadanos de Florida.
Sam Altman es acusado de una forma particular porque el fiscal entiende que ha sido central en el impulso de muchas de las características que han hecho que ChatGPT fuera peligroso.
Justo cuando estaba guardando el saco en el armario.
La corte decidió: Elon Musk presentó la demanda demasiado tarde
La respuesta de la empresa
OpenAI señala que ChatGPT es una herramienta de propósito general que cientos de millones de personas utilizan de forma diaria para propósitos legítimos. También apunta que trabaja de forma diaria para mejorar sus medidas de seguridad y así detectar cualquier intención nociva, limitar el mal uso y responder de forma apropiada cuando un riesgo se presenta.
La compañía explica que entrena a sus modelos para que rechacen cualquier pedido que pudiera dar lugar a episodios de violencia y que notifica a las autoridades cuando las conversaciones sugieren un riesgo creíble de daño a otros. Expertos en salud mental intervienen cuando aparecen casos extremos. Otro aspecto destacado fue el uso de métodos de detección de menores y configuraciones seguras para ellos.
Un momento complicado
Es difícil pensar que la consulta con una IA pueda ser clave en la decisión que lleva a cometer violencia. Al menos no más que lo puede ser una película o un videojuego. Por lo general la intención precede la búsqueda de información. Sin embargo, en ocasiones los chatbots han ofrecido datos de un nivel de precisión y especificidad que no se encuentran en otros medios.
Lo cierto es que la demanda llega en un momento delicado, dado que OpenAI está planeando su salida a la bolsa. Como también lo están Anthropic y SpaceX.
