Investigadores de la Universidad de California apuntan, en un estudio de reciente publicación, que pedirle a una IA que asuma el carácter de un experto perjudica la calidad y confiabilidad de sus respuestas.
Personalidades, órdenes y conocimiento
Unos 6 modelos de lenguajes fueron examinados: dos variantes de los modelos Qwen, Llama y Mistral. Unas 12 personas fueron creadas. Ocho de ellas eran expertos en tareas específicas: escritura, razonamiento, matemáticas, programación, ciencias duras, humanidades, juego de roles y extracciones. Cuatro de ellas estaban vinculadas a formas de comportamiento: crítica, control de seguridad, ayuda y ajuste a las órdenes.
Cuando las IA asumieron las personalidades señaladas demostraron un lenguaje más profesional y convincente. Sin embargo, fueron menos eficaces a la hora de recordar hechos.
La conclusión de los investigadores es que las personalidades hacen que las IA entren a un modo más vinculado con el seguimiento de instrucciones que con la búsqueda de conocimiento.
Agentes de IA hackean su propia empresa para cumplir con una tarea
Es posible que el lector recuerde los problemas que se dan cuando a una IA agente se le pide que actúe como un jefe fuerte.
Prisma
Los investigadores probaron un sistema conocido como PRISM para enseñarle a los modelos cuando deben asumir una persona y cuando no. El mecanismo lleva a las IA a generar dos respuestas, una con la persona y otro sin ella. Los resultados se comparan y aquel que es mejor considerado es ofrecido al usuario.
Conforme pasó el tiempo las IA aprendieron cuando las voz del experto era útil y cuando era solo una distracción. Pero aún cuando las respuestas de las personas no eran las elegidas, no se las descartaba. En cambio el sistema guardaba lo aprendido en cada instancia y el estilo de las respuestas con personalidad para aplicarlos en el futuro.
El método mejoró la calidad de las respuestas, aunque hubo variantes según modelos y áreas.
