Hace tiempo que vengo escuchando advertencias sobre los potenciales sesgos en los sistemas de inteligencia artificial debido a los ‘entrenadores’ humanos, sesgos que tienen a ver con la raza u otros conceptos de pertenencia a grupos poblacionales.
Es el caso, ahora ya convertido en casi una leyenda urbana, del sistema de IA judicial que recomendaba una condena para el acusado de un delito que fuera probado culpable, y al cual se le descubrió un sesgo racista por el simple hecho de que si la persona juzgada formaba parte de un colectivo sobrerrepresentado en la población penitenciaria (en relación con su representación social), el sistema entendía que era más probable que reincidiera, por lo que en dicho caso la condena era más dura.
Y todos sabemos que la población de color está ampliamente sobrerrepresentada en las cárceles norteamericanas, en comparación con el porcentaje de ciudadanos que la conforman.
Esta casuística, que ya fue alertada en el pasado Gartner Symposium (celebrado en noviembre en Barcelona), queda reflejada ahora en un estudio llevado a cabo por el NIST (National Institute of Standards and Technology) norteamericano, el cual revela que un buen número de algoritmos de reconocimiento facial se equivocan más al identificar a personas de color, que a los hombres blancos de mediana edad, una noticia de la cual se hace eco el Washington Post.
Para resumir el resultado del estudio, diré que según publica el Post, las personas con rasgos raciales orientales y de color tienen una posibilidad un centenar de veces mayor de no ser correctamente identificados en comparación con las personas blancas.
Este tipo de error no carece de importancia si tenemos en cuenta el tipo de búsquedas que realizan las autoridades policiales, y que consisten básicamente en comparar los rostros de varios sujetos con la imagen de un sospechoso. Confundir una persona inocente con un criminal puede llevar a destrozar una vida y a toda una familia.
La mayor relación de falsos positivos por etnia se da en el caso de los nativos americanos.
Posibles causas
Un bajo número de usuarios de determinadas etnias/razas en los procesos de entrenamiento de la inteligencia artificial del sistema de reconocimiento sería la principal causa de este sesgo racial en las identificaciones de los sistemas de reconocimiento facial.
Para llevar a cabo el estudio, se probaron en ciento ochenta y nueve algoritmos hasta dieciocho millones de fotos de más de ocho millones de personas, correspondientes a bases de datos del FBI, y los departamentos de Estado y Seguridad Nacional. Los algoritmos probados habían sido presentados de forma voluntaria por fabricantes, instituciones académicas y otros actores del sector, con nombres de tanto peso como Microsoft, Intel o Panasonic.
Una de las ausencias destacadas fue Amazon, compañía que produce un software de reconocimiento facial pensado para su uso por parte de fuerzas policiales, por lo que probarlo a nivel de sesgo racial hubiera sido muy interesante.
