Durante los últimos meses uno de los puntos de discusión respecto a las IA es su capacidad para entender de verdad lo que están haciendo. La observación de sistema tales como el encadenamiento de pensamiento ha demostrado que existe una gran diferencia entre lo que los modelos dicen que hacen y lo que de verdad hacen.
Un grupo de investigadores de la Universidad de Cardiff y la Universidad Ca’ Foscari se propusieron verificar si los LLM eran capaces de entender el humor tal y como lo hacen los seres humanos. En particular se interesaron en los juegos de palabras.
La respuesta corta es: no, pueden memorizar las estructuras, pero no entienden verdaderamente lo que pasa en un chiste.
Desilusión
El trabajo se realizó entre 2024 y 2025 y fue publicado recientemente. Los autores señalan que a pesar de la aparente inteligencia de los modelos, no tienen verdadero entendimiento y carecen de una creatividad genuina. La conclusión fue en parte una sorpresa, dado que por los avances conseguidos durante los últimos años los investigadores esperaban mejores resultados.
El análisis
Para la evaluación los investigadores alimentaron a las IA con una serie de juegos de palabras, y crearon versiones nuevas en las que cambiaban las palabras de forma tal que se perdía el sentido del chiste. Luego le pidieron a los modelos que distinguieran los verdaderos chistes de aquellas frases que no tenían gracia alguna.
Cuando los juegos de palabras no les eran familiares, la capacidad para distinguirlos de frases sin un chiste cayó al 20%.
Básicamente, cuando los modelos observaban una estructura que era similar a la de un juego de palabras la identificaban como tal. E insistían con explicaciones elaboradas de porqué las frases eran graciosas.
El objetivo del equipo ha sido advertir sobre las limitaciones de la tecnología. Pero también creen que es importante desarrollar modelos con la capacidad de reconocer sus propios límites, todo lo que de verdad no entienden.
