Hace unos días OpenAI publicó un trabajo de investigación en el que indaga en las razones por las cuales las inteligencias artificiales alucinan. El modelo matemático empleado destaca por dos características. La primera de ellas es su rigurosidad. La segunda la conclusión de que el fenómeno no es un efecto secundario a superar, sino una consecuencia inevitable del modo en que operan los modelos.
Los modelos de lenguaje responden a las preguntas prediciendo una palabra a la vez dentro de cada oración que producen. Al estar esta selección determinada por las probabilidades siempre existe un margen de error. El problema es que las IA deben distinguir entre las respuestas válidas y las que no lo son. Y en muchos campos esta distinción es de por sí difícil.
Sin lugar a la duda
El modo en que se entrena a las IA también supone problemas importantes a nivel conceptual. Varias de las marcas de evaluación utilizan criterios binarios que no ofrecen ningún tipo de recompensa para la expresión de incertidumbre.
Como consecuencia de esto muchas respuestas honestas, ocasiones en las que la IA debería expresar la falta de información cierta, son penalizadas. La IA recibe el mismo puntaje que cuando se equivoca. Por lo tanto, la opción lógica de una IA que busca el mayor puntaje es dar alguna respuesta aunque probablemente sea erronea.
Esta es la razón, explica OpenAI, por la cual a pesar de que surgen cada vez modelos más avanzados estos siguen con una tendencia a inventar en sus respuestas.
La solución
Los investigadores de OpenAI han llegado a la conclusión de que el problema podría corregirse si el modelo considerara su nivel de confianza antes de responder. Podría imponerse como regla que solo responda al tener un nivel de certidumbre que supere, por ejemplo, el 75. Al mismo tiempo, las respuestas correctas podría recibir un punto y las incorrectas una penalización de 3 o más puntos. Esto llevaría inevitablemente a que las IA consideraran que en muchos casos es más conveniente admitir el desconocimiento.
El problema con este método es que supone el diseño de modelos que consumen mayor cantidad de recursos. También llevaría a una mayor cantidad de ocasiones en las que las IA confesarían no saber las respuestas.
