Investigadores de las universidades de Cambridge y Middle East Technical han afirmado que existe evidencia de que las bases de datos utilizadas para entrenar a los sistemas de inteligencia artificial tienen graves problemas de representatividad. También han apuntado que esta distribución tiene consecuencias prácticas.
Los datos analizados son los provistos por la Real-World Affective Faces Database (RAF-DB) y la Celeb A. Las bases de datos ofrecen imágenes de personas de diferentes étnias, edad y sexo, con expresiones de diversa naturaleza: enojo, sorpresa, alegría, tristeza, etcétera.
Según los científicos un pobre nivel de representación de ciertos grupos sociales perjudica la capacidad de las IA para realizar una lectura adecuada de los rostros.
Método
Los investigadores tomaron muestras de las bases de datos mencionadas. Luego utilizaron varios sistemas de clasificación para evaluar la pertenencia de los rostros en términos de las categorías ya mencionadas.
Luego se comparó el nivel de acierto que había en cada una de ellas respecto a la expresión identificada en la base de datos.
Resultados
En la RAF-DB descubrieron que el 77,4% de los rostros eran caucásicos, el 15,5% asiáticos y el 7,1% afroamericanos. En términos de sexo el 56,3% eran mujeres y el 43,7% hombres.
El nivel de acierto para los hombres caucásicos fue del 65,3%, mientras que para las mujeres asiáticas llegó al 59,1% y para las afroamericanas 61,6%.
Si bien la diferencia no es tan amplia en comparación a la diferencia en términos de representatividad, es consistente cuando muestra a los grupos menos representados como sobre los que menos aciertos se producen.
La base de datos Celeb A tiene un objetivo más simple, distinguir cuando una persona sonríe y cuando no. En este caso el 38,6% de las fotos de los hombres no tenía sonrisa, mientras que en el caso de las mujeres esto sucedía en el 61,4%.
Los resultados mostraron un 93,7% de acierto en las mujeres jóvenes y un 90,7% en los hombres mayores.
Los investigadores creen que estos márgenes alcanzan para reflejar la mala distribución de las muestras.
Observación
Los señalamientos de la primera base de datos parecen demostrar que de mejorar los niveles de representación se obtendrían mejores resultados, aun cuando no se obtenga una paridad perfecta. La diferencia observada no parece mucha, pero tratándose de instrumentos donde lo que importa es la precisión vale la pena el cambio.
Los resultados del segundo grupo nos llevan a pensar que para algunas cuestiones, como ver si alguien sonríe o no, la representación tiene mucho menor impacto.
