La fundación Quesma tiene como objetivo descubrir como trabajan las IA, y en particular analizar el comportamiento de los agentes. En uno de sus más recientes trabajos de investigación uno de sus miembros, Piotr, Migdat, se preguntó si los modelos generativos eran capaces de identificar los hongos que podía encontrar en el bosque.
Poder distinguir entre una especie y otra es importante porque algunas pueden ser parte de un plato suculento y otras envenenarte gravemente. También las hay que podrían producir alucinaciones y otros tantos efectos.
Los datos
Piotr encontró una base de datos con más de 600 mil fotos de 2800 especies. Todas las etiquetas aplicadas allí habían sido comprobadas por expertos. Luego tomó dos listas de hongos presentes en Polonia, un país que tiene una tradición amplia en la recolección de estos organismos. La primera lista era de hongos que se vendían en el país, la otra de aquellos que tenían efectos letales. El cruce de la base de datos y las listas ofreció 37 hongos para la venta y 20 mortales.
Notablemente había algunos que eran considerados como comestibles en unos países pero letales en otros. Tengamos en cuenta lo complejo que es este mundo antes de juzgar a las pobres IA.
La salida el bosque y los resultados
Alimentados los modelos con toda la información disponible el bueno de Piotr salió al bosque a fotografiar hongos y a preguntarle a las IA con qué especie se había encontrado. Tomó 20 fotos de cada especie para un total de 1040.
El modelo más efectivo fue Gemini 3.8 flash, que acertó al primer intento en el 65% de las ocasiones y luego de 5 en el 85%. Claude fable 5 obtuvo un 53% y 72% en las mismas instancias. Kimi k3 un 53% y 70%. Claude Opus 5 un 44% y un 63%. Grok 4.6 un 44% y un 62%. ChatGPT Sol un 42% y 61%.
Los errores
La buena noticia es que la gran mayoría de los errores no tenían graves consecuencias. Sin embargo, hay varios hongos que podrían llevarnos al otro mundo y fueron calificados como comestibles. Como es el caso del Campana de Funeral. Cuyo nombre claramente no es gratuito.
Lamentablemente son más los casos en los que las IA se equivocan al calificar a un hongo como seguro, siendo peligroso, que al revés. El caso más grave es el de Qwen 3.8 27b, que señaló como inseguros al 11% de los hongos seguros, pero le dio el visto bueno al 36% de los peligrosos. En comparación Muse spark solo identificó como inseguros al 4% de los seguros y apuntó como seguros al 8% de los letales.
Recolectar hongos es el Dark Souls de las aficiones culinarias.
Aclaración
Cabe señalar que en muchísimos casos las personas no pueden distinguir un hongo de otro. No es una tarea sencilla arruinada por la impericia de las IA. Es un trabajo complicado que no se resuelve confiando en lo que dice un modelo. Pero ahora los sabemos, cuidado con salir a juntar hongos en Polonia.
