Análisis
Los riesgos del uso de IA para evitar fraudes en el pago de impuestos. ¿Quién nos protege?

En mayo pasado, la Agencia Estatal de Administración Tributaria (AEAT) presentó su Estrategia de Inteligencia Artificial, en la que destaca el desarrollo exitoso de “nuevos algoritmos y métodos de aprendizaje automático”, y en la que afirma que la IA es “una de las tecnologías con una mayor capacidad transformadora de las economías y las sociedades”.

El documento —que se enmarca en la Estrategia Nacional de Inteligencia Artificial 2024 elaborada por el gobierno— refleja la apuesta decidida de la Agencia Tributaria por el uso de IA con el fin de “prestar servicios y asistencia al contribuyente”, “incrementar la eficiencia” y “luchar contra el fraude fiscal y aduanero”. De esta forma, la AEAT va a reforzar a través de herramientas de IA el cruce de datos entre los formularios presentados por los y las contribuyentes con su propia información interna, con el fin de conseguir que los datos declarados “contengan menos errores”.  El documento pone énfasis en que esto impedirá que las personas hagan declaraciones con información errónea y que, a su vez, permitirá ahorrar los recursos y el tiempo que actualmente se invierten en procedimientos de comprobación. 

El programa del gobierno de Países Bajos cruzaba a escala masiva datos privados de personas beneficiarias de una ayuda social para crear informes de riesgo de individuos proclives a defraudar al Estado

Lo cierto es que la apuesta de la Agencia Tributaria por el uso de algoritmos para luchar contra el fraude no es algo nuevo. Uno de los casos más conocidos es el de SyRI (acrónimo de Systeem Risico Indicatie), puesto en marcha por el gobierno de Países Bajos en 2014, que cruzaba a escala masiva datos privados de personas beneficiarias de una ayuda social, como nivel de ingresos, pensiones, bienes muebles e inmuebles, educación, multas, deudas, subsidio de desempleo, “integración”, etc., con el objetivo de crear informes de riesgo de individuos proclives a defraudar al Estado. En otras palabras, con el fin de predecir perfiles de “personas sospechosas”. 

El Ministerio de Asuntos Sociales y Empleo neerlandés extraía toda esta información de agencias públicas como la Seguridad Social, el sistema público de empleo, de información almacenada por los gobiernos locales y de las autoridades fiscales, entre otras, y luego aplicaba este algoritmo en barrios de clases trabajadoras y migrantes, consideradas zonas “problemáticas”.

Desde el inicio SyRI comenzó a ser cuestionado por violar la privacidad de la ciudadanía y discriminar y estigmatizar a grupos demográficos concretos, al punto de que en 2018 una coalición de organizaciones de la sociedad civil presentó una demanda contra el estado neerlandés, que concluyó en 2020 con una sentencia histórica del tribunal de La Haya, que paralizó este sistema por considerar que vulneraba el artículo 8 del Convenio Europeo de Derechos Humanos relativo al derecho a la vida privada y familiar. Además, señalaba el riesgo de discriminación real al tratarse de un algoritmo que tomaba en cuenta, entre otras cosas, el estatus socioeconómico y los antecedentes migratorios de las personas. Este dictamen se conoció como la primera sentencia conocida en Europa que declaró ilegal el uso de algoritmos para evaluar características personales de la ciudadanía. 

Pese a ello, Países Bajos ha continuado usando sistemas parecidos a SyRI. En 2021 estalló un escándalo al hacerse público que habían estado utilizando un algoritmo para determinar si en las solicitudes de subvención para el cuidado infantil había peticiones fraudulentas. Miles de familias de bajos ingresos, pero sobre todo mujeres migrantes, fueron señaladas falsamente de cometer fraude, y aunque el escándalo llevó a la dimisión al completo del gobierno neerlandés de entonces, este país continúa usando sistemas algorítmicos en sus Administraciones.

La digitalización del estado de bienestar 

España no escapa a esta euforia por la digitalización del estado. Ya en 2018, mucho antes del anuncio de la Agencia Tributaria, la Seguridad Social había comenzado a utilizar un sistema de IA para rastrear bajas laborales y detectar fraudes. Una investigación conjunta de Lighthouse Reports y El Confidencial sobre el funcionamiento de este sistema, señala que un algoritmo analiza los datos contenidos en los expedientes de baja laboral con el fin de “predecir” qué personas deberían estar ya de vuelta en su trabajo, si después de una fecha concreta estas personas no han pedido el alta, sus expedientes se clasifican como un posible caso de fraude y son revisados de forma prioritaria por los médicos inspectores del Instituto Nacional de la Seguridad Social (INSS). De este modo, el algoritmo define el orden en que las y los trabajadores deberán visitar a un médico para saber si pueden seguir cobrando el subsidio. 

La investigación afirma que, pese a que han podido desgranar a grandes rasgos su funcionamiento, el sistema sigue siendo opaco, cuestión que corroboran los médicos inspectores que están en contacto directo con la herramienta y que fueron entrevistados en profundidad, quienes aseguran que no sabrían explicar exactamente cómo funciona este sistema. No hay información sobre qué datos se usaron para entrenar el algoritmo, qué peso se le asignó a cada variable o cómo se hace la puntuación final. 

Debido a esta opacidad se desconoce si los datos que se manejan, altamente sensible por tratarse de información médica, están siendo tratados de manera correcta y de acuerdo a la ley de protección de datos. Tampoco se sabe si se están haciendo evaluaciones internas sobre su funcionamiento, o si su uso está derivando en una vulneración al derecho al acceso a una prestación pública. Todo ello, sin contar con el hecho de que las personas investigadas no han dado su consentimiento explícito para este uso de sus datos personales.

Tecnología del futuro, explotación del pasado

Martín Cúneo

Inteligencia artificial

Panorama Tecnología del futuro, explotación del pasado

Martín Cúneo

El control de los ritmos de trabajo por parte de los algoritmos combina el uso más avanzado de la tecnología con prácticas y métodos que recuerdan a los sistemas de explotación laboral del siglo XIX y al vasallaje del medioevo.

En su libro La automatización de la desigualdad, herramientas de tecnología avanzada para supervisar y castigar a los pobres, la investigadora Virginia Eubanks realiza una exhaustiva investigación sobre cómo la minería de datos y las políticas sociales basadas en algoritmos están afectando negativamente en los derechos y la equidad económica. “Sistemas de elegibilidad automatizados, algoritmos de clasificación y modelos de predicción de riesgos controlan qué barrios se someten a vigilancia policial, qué familias reciben los recursos necesarios, a quién se preselecciona para un empleo y a quién se investiga por fraude”, afirma Eubanks.

Uno de los casos expuestos en su investigación es el de las familias del estado de Maine (Estados Unidos) que recibían prestaciones del programa de Asistencia Temporal a Familias Necesitadas (TANF por sus siglas en inglés) y quienes en 2014 fueron acusadas por el gobernador republicano Paul LePage de defraudar al Estado. 

Estas prestaciones se cargan en tarjetas de transferencia electrónica que dejan un registro digital del lugar y la fecha en que se retira el dinero. El gobierno de LePage cruzó datos de organismos estatales y federales y elaboró una lista de cerca de cuatro mil retiradas de dinero en cajeros de estancos y de fuera del estado de Maine. A pesar de que estas transacciones sólo representaban el 0,03 por ciento del total del dinero retirado en el marco del programa TANF, y de que no se podía saber en qué se había gastado el dinero, LePage usó esta información para insinuar que las familias beneficiarias de esta prestación estaban defraudando al estado invirtiendo el dinero recibido en cigarrillos y alcohol. Además, amplificó el señalamiento poniendo estos datos a disposición del público en Google Docs. 

En el corazón de la digitalización del estado de bienestar, yace la obsesión de los gobiernos por la caza del fraude, cuya idea base es la creencia de que las personas siempre engañan al Estado

Este caso no solo es un ejemplo de cómo la vigilancia digital de los datos está derivando en criminalización de grupos ya vulnerabilizados, sino de cómo, en el corazón de la digitalización del estado de bienestar, yace la obsesión de los gobiernos por la caza del fraude, cuya idea base es la creencia de que las personas siempre engañan al Estado. 

En Reino Unido, una investigación de The Guardian reveló que el gobierno de este país utiliza en al menos ocho ministerios herramientas de IA para tomar decisiones sobre justicia penal, bienestar e inmigración, lo que refleja “una forma descontrolada y potencialmente discriminatoria de utilizar la tecnología”, según el periódico británico. Entre los ejemplos que cita está el algoritmo utilizado por el Ministerio del Interior para detectar matrimonios fraudulentos, que “casualmente” recomienda investigar uniones civiles cuando uno de los cónyuges posee una nacionalidad concreta. 

Los riesgos 

El uso masivo de tecnologías de IA para cazar fraudes es una realidad en aumento. De hecho, en 2023 la Organización para la Cooperación y el Desarrollo Económico (OCDE) publicó un informe en el que señala que de los 52 países que forman parte de su Foro de Administración Tributaria, casi el 50 por ciento utiliza herramientas de IA para la detección de evasión y fraude en el pago de impuestos. 

Ante esto cabe preguntarse ¿qué perfiles de personas estamos en la primera línea de vigilancia?, ¿y quién vigila a quienes nos vigilan?  

A pesar de que en su documento de Estrategia de Inteligencia Artificial la Agencia Tributaria dice que “se trabajará en la detección y corrección de eventuales sesgos que pudieran estar contenidos en los datos”, y de que afirma que harán una “recogida de la evaluación del funcionamiento de los sistemas por parte de los usuarios finales de los mismos”, en ninguna parte del texto se explica la manera exacta en que estos procedimientos de supervisión y evaluación se llevarán a cabo. No se plantea una metodología ni se explica de qué manera organizaciones y colectivos que trabajan por los derechos digitales podrán participar en estudios de evaluación de impacto o proponer auditorías externas.

AI Act: un reglamento nuevo para afianzar el orden racial y colonial de siempre

Paula Guerra Cáceres Youssef Ouled

Análisis

Análisis AI Act: un reglamento nuevo para afianzar el orden racial y colonial de siempre

Paula Guerra Cáceres ,  Youssef Ouled

La nueva normativa de Inteligencia Artificial establece una “regulación paralela” en función de quienes son las personas afectadas, algo observable en los usos que se prevén en contextos fronterizos y policiales.

Por otro lado, en cuanto a los equipos, la Agencia Tributaria dice que “el diseño, desarrollo y despliegue de los proyectos de IA se realizará por equipos multidisciplinares que integrarán tanto expertos en el negocio, como técnicos informáticos y científicos de datos especializados en IA”. Es decir, no está contemplada ni la participación de perfiles sociales diversos ni de expertos y expertas que trabajan por la justicia social en el actual contexto de las sociedades datificadas. 

Esto quiere decir que quienes van a hacer la interpretación de los datos —datos fríos que podrían cruzarse con el análisis de información como la nacionalidad del contribuyente, su lugar de nacimiento, edad, sexo o nivel de estudios… no lo sabemos—, serán técnicos probablemente más centrados en buscar patrones e identificar anomalías que en aplicar de manera justa el sistema de inteligencia artificial.  El texto tampoco plantea de qué forma la ciudadanía podrá presentar una queja ante una decisión tomada por el sistema, qué canales de reclamación serán habilitados, cuáles serán los plazos, etc. 

Detrás del uso frenético de sistemas algorítmicos y de IA está el discurso manido que nos habla de herramientas objetivas y resultados neutrales, pero los ejemplos expuestos arriba demuestran que esto está lejos de ser así. Por el contrario, estas herramientas están reproduciendo patrones históricos de poder, perjudicando a los mismos grupos demográficos vulnerabilizados de siempre. 

Hasta ahora ninguna herramienta tecnológica ni de IA ha sido diseñada para cazar a los grandes estafadores, blanqueadores de capitales ni a las grandes compañías evasoras de impuestos. Preguntémonos por qué.