Una corte de los Países Bajos ha ordenado la suspensión de un sistema de control automatizado utilizado para detectar fraudes al sistema de salud. Los jueces han señalado que esta implementación supone una violación de los derechos humanos.
Los sistemas con inteligencia artificial vinculados a las administración de los servicios sociales se han multiplicado durante los últimos años. Sin embargo el desarrollo, así como el uso de los mismos a menudo se ha efectuado en secreto.
Los oponentes a estos sistemas los califican como mecanismos para espiar a los pobres, vulnerar a privacidad y perjudicar a los más vulnerables.
Riesgos calculados
Siendo un sistema automático y orientado a cumplir la ley puede resultar difícil imaginar como es que puede convertirse en un instrumento de discriminación.
El sistema desarrollado en los Países Bajos, SyRi, es un modelo que predice la posibilidad de que un individuo viole las leyes laborales, realice un fraude impositivo o se apropie de un beneficio ilegalmente.
SyRi fue implementado principalmente en los barrios de bajos ingresos. Recabó datos de empleo, deudas personales, nivel educativo, residencia y beneficios obtenidos. Estos fueron los datos considerados para calificar a las personas como riesgosas.
Se desconoce como funciona el algortimo implementado.
Fallo de la corte
La corte señaló que SyRi no tenía los suficientes mecanismos para evitar la invasión a la privacidad y carecía de la transparencia adecuada para demostrar como funcionaba. Ante la ausencia de información era lógico suponer que el sistema podía estar apuntando a los más pobres y discriminarlos en base a sus condiciones socioeconómicas.
En la Unión Europea se espera que los sistemas equilibren la necesidad de prevenir el fraude con el respeto a la privacidad.
