Inteligencia artificial
Una crítica a la inteligencia artificial más allá de los sesgos

Hoy en día la ética de la inteligencia artificial y los algoritmos sesgados centran los debates sobre las consecuencias negativas de dicha tecnología. Pero, ¿qué ocurre si miramos a la tecnología desde el otro lado, es decir, desde el punto de vista de las personas marginadas por la sociedad? ¿Cómo les afecta realmente la automatización de procesos burocráticos para solicitar derechos sociales o demandas de asilo?
Apocalipsis
Una miniatura del apocalipsis (Francia, 1290s). The Morgan Library & Museum (MS M.1071.2r)

Un blog sobre ciencia y poder.

Ana Valdivia (Investigadora postdoctoral en King's College London) y Martina Tazzioli (Profesora en Goldsmiths University)
29 nov 2021 07:00

La Coalición de Personas Discapacitadas del Gran Mánchester (por su siglas en inglés, GMCDP) ha sido objeto de un escrutinio recurrente por parte de un algoritmo desplegado por el Departamento de Trabajo y Pensiones del Reino Unido (DWP) para identificar el fraude en prestaciones públicas a este colectivo.  En este caso, el algoritmo analiza bases de datos que contienen información sobre solicitudes ciudadanas en búsqueda de patrones anómalos que indiquen la posibilidad de fraude. Estas medidas automatizadas, adoptadas cada vez por más administraciones públicas, son muy comunes en el sector bancario y financiero para encontrar clientes fraudulentos. El GMCDP descubrió que este sistema automatizado de detección de fraude apunta con mayor probabilidad a personas con diversidad funcional como potenciales defraudadores de prestaciones. Foxglove, una organización sin ánimo de lucro que ya llevó a juicio el año pasado el sistema automatizado de visados implementado por el Ministerio de Interior de Reino Unido por racista, ha apoyado al GMCDP para denunciar oficialmente el sesgo y la discriminación del algoritmo de fraude del DWP. 

Los debates que se centran únicamente en el sesgo algorítmico desvían la atención sobre cómo la inteligencia artificial invisibiliza y refuerza la violencia estructural.

El uso generalizado de algoritmos suscita numerosas críticas entre activistas y organizaciones de la sociedad civil por la discriminación que reproducen e imponen automáticamente. Cada vez más organizaciones que luchan por los derechos digitales han llevado a cabo acciones en contra de algoritmos y sistemas automatizados como forma de mitigar los daños producidos por el sesgo de datos. En la actualidad, los llamamientos a una inteligencia artificial ética o a mitigar el sesgo de los algoritmos han cobrado protagonismo y monopolizan los debates. Sin embargo, centrarse exclusivamente en la discriminación algorítmica desvía la atención de los múltiples obstáculos que la inteligencia artificial refuerza, y contribuye al creciente tecnofetichismo que impregna los debates sobre tecnología. Al hablar de tecnofetichismo nos referimos al hecho de que los debates críticos actuales sobre la tecnología tienden a dar por sentado y a exagerar los beneficios de la implantación de la inteligencia artificial en diferentes campos y la razón por la cuál se invierte en esta tecnología.


MÁS ALLÁ DE LA CRÍTICA AL ALGORITMO

Las críticas hacia algoritmos racistas y sexistas se han convertido en la narrativa estrella  de los debates públicos. Sin embargo, en la mayoría de estos debates se obvia que el racismo, clasismo y sexismo vienen de una racialización y violencia estructural que sustenta nuestra sociedad. De hecho, en muchos casos observamos cómo es la inteligencia artificial o el algoritmo sesgado el cuestionado en los tribunales, más que los mecanismos de exclusión social que están siendo reforzados con dicha tecnología. La inteligencia artificial perjudica a las poblaciones marginadas al aumentar los obstáculos que deben afrontar para acceder a derechos sociales. Es decir, se utilizan para mantener fuera o expulsar a las personas del sistema de bienestar, así como del acceso a las demandas y derechos de asilo. El enfoque obsesivo que se da a la discriminación automática y el sesgo implica mirar a la tecnología desde una mirada ciudadana que pone en el centro preocupaciones como la privacidad, la vigilancia masiva del reconocimiento facial o los sesgos algorítmicos. No obstante, si miramos la tecnología desde otro punto de vista vemos que las preocupaciones no son las mismas.

La inteligencia artificial se utiliza para obstaculizar, expulsar y mantener fuera a las personas del sistema de bienestar.

¿Y si empezamos a ver la inteligencia artificial desde el otro lado, es decir, desde el punto de vista de las personas marginadas que se ven obstaculizadas por ella? ¿Qué perjuicios concretos les genera el proceso de toma de decisiones automatizado? Por deshacer el tecnofetichismo queremos decir que debemos ir más allá del discurso en torno a la inteligencia artificial, la ética y la discriminación algorítmica y deshacer nuestra mirada privilegiada. El problema central sobre la injusticia algorítmica no debería centrarse únicamente en los sesgos, sino que debe prestar atención a la violencia estructural que ya existía antes del nacimiento de la inteligencia artificial.  En lugar de culpar al algoritmo, debemos cuestionar la estructura y el contexto en el que se despliega la inteligencia artificial para invisibilizar las violencias y obstruir el acceso a los derechos fundamentales. La inteligencia artificial es una herramienta más que sirve para reforzar la violencia estructural, en parte porque es difícil acceder al código fuente de los algoritmos y en parte porque la ciudadanía tiene suficientes problemas ya de los que preocuparse que ponerse a aprender cómo funciona un algoritmo. Por ejemplo, el Consejo de Transparencia de España negó a Civio examinar el código del algoritmo que otorga las ayudas para el bono social, después de descubrir que denegaba la ayuda a personas con derecho a ella. Además, un reciente estudio demostró que la Administración suele utilizar un lenguaje poco claro y accesible para la solicitud de este tipo de trámites. Esto demuestra que hay que cuestionar qué daños se generan realmente con la digitalización de los sistemas de bienestar, dejando atrás narrativas que se centran exclusivamente en el sesgo racista o sexista de los algoritmos. 

¿Y si empezamos a ver la inteligencia artificial desde el otro lado, es decir, desde el punto de vista de las personas marginadas que se ven obstaculizadas por ella?

Cuando realmente analizamos cómo el proceso de digitalización ha impactado en los colectivos potencialmente vulnerables, observamos que existen otro tipo de discriminación más allá del sesgo algorítmico, como recientemente ha señalado el investigador Javier Sánchez-Monedero. La exclusión digital o la complejidad de la burocracia digital del sistema de bienestar español suelen ser claros ejemplos de cómo la tecnología impacta realmente en la población. Es decir, el no tener acceso a Internet o incluso a un ordenador para rellenar cualquier solicitud de prestación social puede llevar a la persona a una marginalidad social, por mucho que hoy el debate esté centrado en la discriminación algorítmica.


En lugar de dar por sentados los riesgos asociados a la inteligencia artificial implantada (supuestamente) en diferentes ámbitos de la sociedad, es clave cuestionar la mirada normativo-ciudadana que se utiliza implícitamente en la mayoría de los análisis críticos. Esto significa que en lugar de partir de un marco centrado en los datos y en el consentimiento individual para criticar los efectos negativos de la inteligencia artificial, deberíamos invertir la mirada y preguntarnos “¿qué daños produce en las personas a las que los algoritmos obstaculizan el acceso a los derechos y al bienestar?”. En este artículo, buscamos dirigirnos hacia una crítica de los efectos perjudiciales de la inteligencia artificial desde la mirada de colectivos históricamente oprimidos, personas racializadas con un estatus legal precario (no ciudadanos, migrantes, solicitantes de asilo) o que necesitan depender del apoyo del Estado (personas con diversidad funcional, personas que necesitan recibir prestaciones). Al argumentar esto no queremos descartar las campañas centradas en la privacidad, el consentimiento y los sesgos algorítmicos. Más bien, sugerimos que cualquier debate sobre la ética de la inteligencia artificial debería entremezclarse con reivindicaciones de colectivos históricamente oprimidos, dándoles voz y escuchando cómo realmente impacta la digitalización, la inteligencia artificial conjuntamente con la violencia estructural en sus vidas. No obstante, esto no quiere decir que debamos renunciar a las movilizaciones colectivas que desafien la discriminación algorítmica y las injusticas que se generan con la inteligencia artificial, sino interrogar qué más está en juego.

Todo debate sobre la ética de la inteligencia artificial debería entremezclarse con reivindicaciones de colectivos históricamente oprimidos.


LA INTELIGENCIA ARTIFICAL VISTA DESDE EL OTRO LADO

Entonces, ¿qué observamos si miramos la inteligencia artificial desde el otro lado? Los algoritmos multiplican los obstáculos burocráticos y administrativos que las poblaciones marginadas deben sortear para acceder a los derechos sociales y del bienestar. La inteligencia artificial retrasa, interrumpe y obstruye (de manera diferencial), además de discriminar: al introducir una distancia física y digital entre las autoridades estatales y la población. Tuvimos un claro ejemplo del funcionamiento en la práctica de estas barreras con la incapacidad del Ingreso mínimo Vital de llegar a las familias que más lo necesitaban. Además, las diferentes jerarquías que existen en nuestra sociedad se potencian a través de las interacciones con la tecnología: personas con una renta mayor tienen mayores recursos para enfrentarse a la burocracia digital, que personas de clase trabajadora. Al mismo tiempo, el uso de la tecnología en el ámbito del control migratorio aumenta y reproduce los obstáculos que los solicitantes de asilo deben realizar para acceder a las demandas de asilo, así como a la ayuda humanitaria.


De hecho, el control migratorio es un ejemplo que demuestra cómo la inteligencia artificial, más allá de discriminar o vigilar a las poblaciones marginadas, aumenta los obstáculos a los que se enfrentan para acceder a los derechos. En Grecia, los solicitantes de asilo se ven obligados a comunicarse con las autoridades estatales y las ONG a través de aplicaciones, como Viber y Whatsapp; y para presentar una solicitud de asilo tienen que registrarse a través de un sistema obligatorio de Skype que retrasa y dificulta la realización del procedimiento. Los solicitantes de asilo se ven forzados a convertirse en usuarios de esta tecnología si quieren obtener una ayuda económica mensual o seguir adelante con el procedimiento de asilo. Sin embargo, lo que ocurre con los solicitantes de asilo no es una excepción. Más bien, la comunicación forzada mediante plataformas digitales por parte de los estados y de sus administraciones, obstaculiza y ralentiza en muchas ocasiones procesos administrativos tanto de ciudadanas como de no ciudadanas.

En Grecia, los solicitantes de asilo tienen que registrarse a través de un sistema obligatorio de Skype que retrasa y dificulta el trámite para demandar asilo.

Como muestra Ken Loach en la película “Yo, Daniel Blake”, la cuál cuenta la historia de un hombre de 59 años atrapado en el sistema de bienestar británico para reclamar las prestaciones estatales tras sufrir un infarto, la administración falla a Daniel Blake sistemáticamente con y sin discriminación algorítmica. “Yo, Daniel Blake, exijo mi fecha de apelación antes de morirme de hambre y cambiar la música de mierda de los teléfonos”; “No soy un parpadeo en la pantalla de un ordenador ni un número de la seguridad social, soy un hombre”: son citas de la película de Loach que expone cómo el sistema de bienestar impide a (algunas) personas obtener prestaciones sociales, mientras se les mantiene en espera interminablemente o se les obliga a navegar por procesos totalmente digitalizados. La implantación de chatbots también es adoptada por el sector público como alternativa a las llamadas telefónicas. Estos asistentes de conversación automática se despliegan para obstaculizar el acceso a las prestaciones sociales y ahorrar costes laborales. Sin embargo, esto no llama tanto la atención como los debates sobre la discriminación algorítmica y la ética en la inteligencia artificial.

Una conciencia crítica de la inteligencia artificial1 debería desfetichizar la tecnología. Lo que significa cuestionar (y no dar por sentado) qué daños causa en las poblaciones racializadas e históricamente marginadas, no dar por sentado que el único perjuicio es el sesgo algorítmico, e investigar cómo funciona realmente sobre el terreno. Mirar la inteligencia artificial desde el otro lado implica comprender qué tipos de impactos perjudiciales tiene realmente sobre las personas, no replicando una mirada normativa sobre ella. Como hemos demostrado, al mirar la inteligencia artificial desde el otro lado podemos ver que no sólo potencia la discriminación, sino que también obstaculiza, expulsa y mantiene fuera a algunos individuos del acceso a los derechos sociales, al bienestar y al asilo. 

Una conciencia crítica de la inteligencia artificial debería cuestionar qué daños realmente causa esta tecnología en colectivos históricamente oprimidos, más allá del sesgo algorítmico.

El punto de vista que proponemos en este texto abre la posibilidad de construir alianzas transversales entre individuos racialmente diferenciados y excluidos, poniendo de relieve los obstáculos tecnológicos comunes a los que se enfrentan. Por ello, la crítica a los efectos discriminatorios o negativos de la inteligencia artificial no puede provenir exclusivamente de acciones que lleven a los algoritmos a los tribunales para impugnar los sesgos y la discriminación. Junto a ello, implica desarrollar herramientas legales y políticas para analizar y contrarrestar los obstáculos impuestos por la violencia estructural, la cuál (a veces) utiliza la inteligencia artificial para invisibilizar(se), sin exagerar ni fetichizar el funcionamiento de la tecnología. “Nosotras, Daniel Blake”.

1. Inspirado en el concepto de conciencia crítica de la biometría por Simone Browne en Black Matters. On the Surveillance of Blackness.

Sobre o blog
Un blog colectivo sobre ciencia y poder.
Ver todas as entradas
Informar de un error
Es necesario tener cuenta y acceder a ella para poder hacer envíos. Regístrate. Entra na túa conta.

Relacionadas

Videovigilancia
Derechos y libertades Videovigilancia algorítmica en nombre de la seguridad de los Juegos Olímpicos de París
Aunque las autoridades francesas aseguran que no se utilizará el reconocimiento facial durante los Juegos Olímpicos de París, existe el temor de que el uso de la videovigilancia algorítmica se convierta en permanente.
Derechos Humanos
Libertades y derechos Amnistía Internacional acusa al Estado de no investigar casos graves de violación de los derechos humanos
El informe anual de esta organización de derechos humanos denuncia “la persistente falta de rendición de cuentas por las violaciones de derechos humanos cometidas por el Estado español”.
Manuel Mistral
30/11/2021 1:54

Me parece que el artículo es un batiburrillo de lugares comunes que, por desgracia, se pierde en superficialidades.

Está claro que los modelos estadísticos que constituyen lo que hoy entendemos por inteligencia artificial contienen sesgos. Desde un punto de vista técnico, los modelos simplemente tratan de reproducir los datos históricos con los que se los entrena con la mayor exactitud posible. Es decir, el sesgo no lo crea el modelo, el sesgo existía (existe) y el modelo lo reproduce porque se le entrena para reproducir la realidad.

Es un desperdicio que autoras con esta formación técnica se conformen con una crítica tan poco sustantiva, llena de inexactitudes, donde simplemente presentan al "algoritmo" como un omnipotente enemigo abstracto de las clases populares contra el que no podemos hacer nada.

Crep que cuando reducen la discriminación a una cuestión técnica intrínsica a una máquina programada desde Silicon Valley, las autoras nos ocultan la responsabilidad de otras estructuras de poder más próximas y anulan la posibilidad de que transformemos la realidad social. No es el "algoritmo" el que discrimina, es la policia, el juez, el jefe, el funcionario y el maestro y podemos luchar contra ellos cada día.

0
0
Sobre o blog
Un blog colectivo sobre ciencia y poder.
Ver todas as entradas
Laboral
Laboral El Consejo de Ministros aprueba la prevalencia de los convenios colectivos autonómicos y provinciales
La medida entrará en vigor el miércoles 22 de mayo cuando el BOE publique el decreto. Las patronales españolas, Comisiones Obreras y UGT apostaban por la estatalización de los convenios colectivos.
Genocidio
Genocidio Karim Khan: el tipo duro que ha puesto contra las cuerdas a Netanyahu y de los nervios a Biden
La decisión de la Fiscalía del Tribunal Penal Internacional de solicitar órdenes de detención contra los jerarcas israelíes responsables de la masacre de Gaza genera división entre los países europeos e indigna al gobierno de Estados Unidos.
Biodiversidad
Biodiversidad Natura 2000: una red de protección medioambiental amenazada por la agricultura
La pieza central de las políticas de protección medioambiental ha sido incapaz de frenar el avance de la agricultura intensiva en zonas sensibles. Visitamos tres ecosistemas protegidos en España, Portugal y Alemania para comprobar su impacto
Alemania
Extrema derecha “Es imposible confiar en el Estado alemán y su policía en la lucha contra los neonazis”
En Alemania, el movimiento antifascista se enfrenta a una oleada de represión, mientras que las elecciones de septiembre auguran la victoria del partido de extremaderecha Alternativa para Alemania en diferentes estados.
Contigo empezó todo
El Salto libros El Salto lanza su propia línea editorial con un libro sobre la otra historia de España
El Salto Libros se estrena con el volumen ‘Contigo empezó todo’, del periodista Eduardo Pérez, otra visión de la historia de España a través de 30 episodios olvidados. Suscríbete y te lo enviamos gratis.
Congreso de los Diputados
Congreso de los diputados Solo el voto en contra del PP evitaría que pasara su primer trámite la ley del PSOE contra el proxenetismo
Al primer partido del gobierno le bastaría una mayoría simple para comenzar el trámite de la propuesta del ley que presentó en solitario al Congreso de diputados. Aún y con ello grupo popular no les regalará el sí directamente en este primer pulso. Sumar hecho público su 'no' ya que considera que la propuesta del PSOE no aborda ninguna solución.
Análisis
Neoliberalismo Aquelarre fascista en Madrid: el auge de la aporofobia
El desaguisado argentino, VOX, Meloni, Le Pen, Trump, Bolsonaro, … son la consecuencia final lógica de un sistema de gobernanza que ya ha fracasado, el neoliberalismo.

Últimas

Industria
Transición ecosocial El sindicato ELA se prepara para demandar a la multinacional Stellantis por el cierre de la fábrica Mecaner
Considera que Stellantis ha podido vulnerar derechos básicos como la tutela judicial efectiva y la libertad sindical al empujar a los trabajadores a elegir una indemnización que triplica el mínimo y que implica renunciar a una demanda colectiva.
Crisis climática
Overshoot Day España entra en déficit ecológico
Este 20 de mayo se cumple el Día de la Sobrecapacidad de la Tierra en España, lo que significa que el país ya ha consumido el límite de recursos naturales por año que permitiría al planeta regenerarse.
Más noticias
En saco roto (textos de ficción)
En saco roto Tamujas
Lo que ocurrió fue que nos limitamos a escribir sobre una página en blanco la fecha del día, el nombre de la asignatura y las palabras que el profesor había escrito en el encerado. Eso fue todo.
Laboral
Convenio colectivo UGT, LAB y CC OO aceptan formalizar el contrato fijo discontinuo parcial en los polideportivos de Bizkaia
El preacuerdo atiende la reivindicación de la semana de 35 horas, por lo que, junto con los incrementos salariales, el valor de la hora de trabajo aumenta en un 20,8%. ELA ha rechazado el preacuerdo y mantiene la huelga en al menos 18 centros.
Irán
Irán La muerte del presidente de Irán sacude un escenario internacional convulso
Teherán comunica la muerte de su jefe de Gobierno, Ebrahim Raisi, y su ministro de exteriores, Hossein Amirabdollahian, después de que su helicóptero se estrellara en la tarde del domingo.
Movimiento BDS
Palestina La Universidad Autónoma de Barcelona y la ciencia europea al servicio de Israel
Una investigación destapa los lazos entre la universidad catalana y el entramado universitario israelí, así como sus vínculos con tecnologías armamentísticas.
Medio ambiente
Contra la planta de biogás La Coronada vuelve a movilizarse contra la planta de biogás
La Coronada (Badajoz) alberga ya un macrovertedero y sería la principal perjudicada por la planta de biogás proyectada en la vecina localidad de Villanueva de la Serena.

Recomendadas

Literatura
Día das Letras Galegas As poetas queer ante Luísa Villalta: “A poesía é unha ferramenta para poder cambiar o espazo que habitamos”
Afra Torrado, Cinthia Romero e Lara Boubeta, tres poetas disidentes galegas, xúntanse para reflexionar sobre o seu vínculo coa poesía, a importancia de referentes na literatura e a implicación que ten o Día das Letras Galegas.
Feminismos
Feminismos Ana Requena y June Fernández: periodistas, feministas… e intensas
Estas dos comunicadoras comparten amistad, oficio y edad: cumplirán este año los temidos cuarenta. Por fortuna, en las presentaciones del último libro de Ana Requena, ‘Intensas’, las señoras suelen contar que una se libera con los años.
Migración
Migraciones Patera vacía: navegando en la necropolítica migratoria
Seguimos a un grupo de gente que se resiste a aceptar el designio de la suerte y del azar que hace que haya víctimas o supervivientes de manera injustamente aleatoria.
Periodismo
Jesús Cintora “Nunca había estado tanto tiempo fuera de la televisión o la radio... no sé por qué será”
El expresentador de Las mañanas de Cuatro publica ‘El precio de la verdad’ (Editorial B, 2024), un ensayo sobre el estado actual del periodismo español.