Este martes OpenAI afirmó que había parado el avance de sus modelos más avanzados. Las razones para tal decisión son el incidente con Hugging Face y el examen de las actuales capacidades de Astra, la última variante en desarrollo. La compañía asegura que ha resultado evidente que necesitan mejorar los sistemas de control de alineamiento de los modelos. Esto es la serie de mecanismos que obligan a una inteligencia artificial a comportarse dentro de ciertos parámetros.
Nota: conservamos el término incidente que utiliza OpenAI para describir los ataques producidos cuando sus modelos se le fueron de las manos por graves deficiencias en el control de sus experimentos.
Hugging Face quiere que las desarrolladoras se hagan responsables por lo que hacen sus modelos
Medidas de seguridad
OpenAi afirma que su estrategia para desarrollar modelos más potentes dentro de los márgenes de seguridad reside en tres aspectos.
El primero de ellos es el monitoreo que permite reaccionar ante cualquier comportamiento que resulte preocupante. El segundo el alineamiento, que debe reducir la posibilidad de que se desarrollen acciones dañinas o no autorizadas. En tercer lugar medidas de seguridad prácticas, destinadas a limitar el acceso de las IA a los sistemas o su capacidad para afectarlos.
Nada de esto suena revolucionario, o a algún ejercicio que la compañía no hubiera estado realizando hasta ahora.
Aislamiento
OpenAI sostiene que de ahora en más reforzará el aislamiento durante sus ejercicios y simulaciones. Esto también incluye una mayor separación respecto a Internet. En teoría se necesitarían varias instancias de autorizaciones antes de alcanzar el espacio global.
A nosotros nos sorprende que la compañía siga dispuesta a que en el futuro uno de sus modelos la sorprenda sobrepasando sus barreras. Lo más sencillo sería no conectar a la IA a la red. Un impedimento físico que no se puede sobrepasar digitalmente.
El control del pensamiento y el alineamiento
Otro aspecto que la desarrolladora señala va a vigilar con más cuidado es lo que ocurre con el pensamiento encadenado de sus modelos luego de su entrenamiento. Al parecer hasta ahora se había enfocado mucho en la primera etapa y no tanto en lo que pasaba en la mente de sus IA cuando estaban trabajando.
Tal como lo señala el subtítulo, OpenAI planea agregar más instancias para fomentar ciertos tipos de comportamiento y desincentivar otros. También espera que los modelos sean más honestos sobre sus acciones y limitaciones.
