El descontrol con que han actuado los modelos más avanzados de inteligencia artificial es un grave problema para la industria. Y si es un problema para la industria también lo es para una de sus grandes proveedoras, Nvidia. No extraña entonces que esta compañías esté dando impulso a una iniciativa que intenta mejorar la seguridad gracias a la unión de muchos de los principales actores del sector.
En el centro aparecen el software OpenShell y el sistema Sentry.
El primero permite seguir toda la actividad de los agentes e imponer en ellos normas de conducta. Utiliza un esquema de cero confianza con permisos otorgados en base a las intenciones. Funciona con CPUs Nvidia, pero dado que es de código abierto puede aplicarse a otras marcas.
Sentry es una capa adicional de control con la capacidad de poner en cuarentena a los agentes en milisegundos si fueran más allá de sus directrices. Realiza un seguimiento de cada agente y cada acción tomada. Controla el acceso a cada recurso.
La lista de compañías que se han unido a esta iniciativa es extensa y de gran peso. Incluye a Anthropic, ARM, Check Point, Deloitte, Hitachi, IBM, Irregular, Oracle, SpaceX, Accenture, Microsoft, Perplexity y Palantir.
No parece que OpenAI participe hasta el momento.
El problema
Jense Huang, CEO de Nvidia, ha señalado que el potencial de las IA no podrá plasmarse si no se resuelve primero el tema de la seguridad. El ejecutivo afirma que es necesario acelerar el descubrimiento de los mecanismos de seguridad para los modelos de frontera. Por lo que es importante trabajar en conjunto y compartir mejores prácticas así como métodos de evaluación.
Cabe recordar que Huang había afirmado que no iba a permitir que se desacelerara el desarrollo de las IA. Dicha opción es la que muchas empresas del sector estaban considerando como alternativa. Así pues, la única alternativa sería acelerar en seguridad.
Si esto es posible o no tendremos que esperar para verlo. Pero la empresa que más prestigio pone en riesgo es Nvidia.
