En su edición europea, la prestigiosa publicación POLITICO informa sobre un escándalo de dimensiones mayúsculas, con depresiones e incluso suicidios, que salpica a la hacienda neerlandesa por el uso inadecuado que esta hizo de la inteligencia artificial.
En neerlandés, este escándalo se ha conocido como toeslagenaffaire (traducido libremente, “affaire de la asignación”), y se basa en el funcionamiento del algoritmo que calculaba la probabilidad de que alguien defraudara a hacienda con las ayudas públicas percibidas para la cría de los hijos.
Dicho algoritmo, utilizado entre 2013 y 2019, creó perfiles de riesgo basándose en los indicadores entrados por las autoridades fiscales holandesas. Por ejemplo, la posesión de doble nacionalidad era un indicador de riesgo para cometer fraude, lo que redundó en que los ciudadanos de origen inmigrante establecidos en los Países Bajos, tuvieran mayores posibilidades de pasar a engrosar las listas de posibles sospechosos.
De la misma forma, tener unos ingresos escasos también era indicador de alto riesgo, y recordemos que dichos indicadores fueron suministrados al algoritmo por personas humanas, trabajadores de la hacienda holandesa.
En 2020, una investigación de medios de comunicación neerlandeses puso al descubierto que el departamento de hacienda había estado confeccionando listas de posibles defraudadores basándose en el aspecto ‘poco occidental’ de las personas (probablemente, tomando como referencia sus nombres), así como incrementando el riesgo de aquellos ciudadanos que también tenían la nacionalidad turca o marroquí.
El problema del sesgo racial no es exclusivo de este caso, ya que en Estados Unidos se han dado varios casos, tanto en el ámbito policial como en otros, de que los ciudadanos negros reciben un peor trato respecto a los blancos, algo debido a los datos con los que se alimenta al algoritmo si no hay factores de corrección de por medio.
Ahora, el departamento holandés de hacienda se enfrenta a una multa por parte de las autoridades reguladoras de la privacidad del país de 3,7 millones de euros, insuficientes a todas luces para cubrir los daños perpetrados por años de juicios de valor incorrectos.
Y es que los algoritmos no son perfectos, incluso aunque aprendan por ellos solos (machine learning), como era el caso del utilizado, por lo que necesitan de supervisión humana. En todo caso, sí pueden ayudar a tomar decisiones, pero como herramienta consultiva.
