Inteligencia artificial
70 voces de la academia piden la moratoria de sistemas de reconocimiento facial

Una carta dirigida al Gobierno evalúa los principales problemas en materia de violación de derechos fundamentales asociados a la aplicación de sistemas de reconocimiento facial

Hoy se publica una carta enviada al Gobierno, firmada por 70 personas del ámbito tecnológico, en la que reconocen “la necesidad de de establecer una moratoria en el uso y comercialización de sistemas de reconocimiento facial por parte de empresas públicas y privadas”. La razón principal es la falta de legislación aplicada al uso de estos sistemas, que se ha disparado considerablemente en los últimos 10 años. “Existe una variada gama de razones que justifican la creación de una comisión para investigar esta necesidad”.

En febrero de 2021 Renfe anunció una licitación de sistema de reconocimiento facial para aplicar en 25 estaciones de distintas ciudades del estado que, en principio, serviría para detectar excesos de aforos y personas colándose la estación durante su primera fase de aplicación. La polémica salta cuando la compañía publica que, durante su segunda fase, el sistema debería “analizar la conducta de los usuarios” para reconocer “tumultos, peleas o comportamientos anómalos, como huelgas o manifestaciones”, así como la identificación de personas por “edad, género, origen étnico, tipo de ropa o estado de ánimo”.

El principal problema que presentan estos sistemas, que deberíamos anteponer ante todos los demás por su orden operativo, es que son “cajas negras”, es decir, no existe ningún organismo que audite ni controle su funcionamiento

Renfe retiró rápidamente el anuncio, pero su publicación ya había desencadenado la escritura de esta carta por parte del equipo promotor, compuesto por Ujué Agudo, David Casacuberta, Ariel Guersenzvaig y Karlos G. Liberal. “Sistemas similares ya están disponibles para entornos educativos, laborales, sanitarios, de ocio y muchos otros, tanto públicos como privados”, señalan.

“Esta idea llevaba mucho tiempo apareciendo en conversaciones con los otros promotores de la carta cuando nos encontrábamos en talleres, conferencias o hackmeetings” relata a El Salto Karlos G. Liberal, desarrollador informático y promotor de la carta. “El tema de la Renfe fue el desencadenante por las absurdeces que decía. Aunque a veces son globos sondas que lanzan las compañías para probar la respuesta de la población”. Tras redactar el primer borrador de la carta, el equipo de la envió a un entorno más cercano, entre las que destacan Ana Matute, Ana Valdivia o Manuela Battaglini, para que participasen en la redacción de la carta. “Otro de los eventos que nos animó a escribirla fue la noticia de que el gobierno de Estados Unidos había rescindido el contrato de reconocimiento facial en cámaras de la policía, ya que les daba más problemas que beneficios”.

“Los algoritmos de aprendizaje automático que los sustentan tienen graves problemas que han sido ampliamente documentados y discutidos por la comunidad científica y y entidades gubernamentales y civiles”

La hoja de ruta de esta carta pasa por las manos de Carme Artiagas, científica y empresaria del ámbito de las nuevas tecnologías que Nadia Calviño ha nombrado como secretaria de Estado de Digitalización e Inteligencia Artificial. “Nos gustaría llegar a tener una conversación con los responsables públicos para crear un grupo de investigación que evaluase los problemas detallados en la carta”, añade Liberal. “Se han sumado también voces del ámbito de las ciencias sociales, la filosofía o del mundo de la empresa. Es importante, ya que no se trata de un problema que nos afecta a todos y atraviesa varios campos de análisis”.

Una de las firmantes de esta carta es Gemma Galdón, presidenta de la Fundación Éticas, que ya explicó a El Salto en una entrevista anterior que los mecanismos legales para controlar el uso de estas tecnologías ya existen amparados en la Ley de Protección de Datos Europea, y el problema reside en que no se aplican y tanto administraciones públicas como privadas pasan por encima de ellos.

Tecnología
Reconocimiento facial, una distopía para vender humo
Durante el año 2020 ha habido un aumento notable de empresas y proyectos dedicados al desarrollo de la tecnología de reconocimiento facial. Sin embargo, a pesar de los logros que celebran los CEO de las compañías en los medios de comunicación, nos encontramos ante una tecnología incipiente que está muy lejos de llegar a ser el panóptico digital que imaginamos.

El principal problema que presentan estos sistemas, que deberíamos anteponer ante todos los demás por su orden operativo, es que son “cajas negras”, es decir, no existe ningún organismo que audite ni controle su funcionamiento. Debemos preguntarnos antes que nada, ¿realmente puede una máquina discernir mi estado de ánimo? Las únicas entidades que saben realmente cómo funcionan son las empresas que los diseñan. Por lo tanto, el primer escollo reside en que no sabemos si están haciendo lo que realmente dicen que hacen.

Si escarbamos un poco en la superficie del discurso de vendedores de crecepelo que tienen estas compañías, muchas veces nos encontramos con una maqueta, como le ocurría a Arturo cuando llegaba a Camelot en Los caballeros de la mesa cuadrada. Esto es lo que ha ocurrido, por ejemplo, con iBorderCtrl, un sistema de detección de mentiras encargado por la Unión Europea para detectar traficantes y falsos refugiados en sus fronteras que tuvo que retirarse por los problemas que generaba. La compañía que lo diseñó había “entrenado” al algoritmo de reconocimiento de mentiras con actrices y actores que debían actuar como si fuesen traficantes.

“Lo más urgente es que el Gobierno realmente se cuestione el uso de estos sistemas biométricos en espacios públicos. Margarita Robles ha licitado un sistema biométrico para controlar el horario del personal en un hospital militar”, señala Ana Valdivia, una de las firmantes, investigadora asociada del King’s College de Londres. “Lo más peligroso, bajo mi punto de vista, es la opacidad con la que estos sistemas operan. No existe rendición de cuentas, en muchas ocasiones no se sabe qué empresas los desarrollan, cuánto dinero reciben, qué algoritmos utilizan, con qué datos, qué métricas obtienen para evaluar los algoritmos tanto dentro del laboratorio como en la vida real una vez ya implementados”, añade.

El periodista e investigador Ekaitz Cancela publicaba en El Salto recientemente cómo la empresa privada Eurocop Security Systems ganaba más de 100 contratos públicos para promocionar sistemas de software y soluciones automatizadas destinadas a “aumentar la eficacia y productividad de los servicios de policía”. Otro de los problemas que se añaden a los citados en la carta es el gasto y el peso que suponen para el erario público, ya que muchas de estas empresas desarrollan sus sistemas financiadas con dinero público.

La fantasía de la predicción

Suponiendo que estos sistemas llegasen a funcionar realmente tal y como los venden los CEOs de las compañías que los diseñan, desde la carta señalan que “los algoritmos de aprendizaje automático que los sustentan tienen graves problemas que han sido ampliamente documentados y discutidos por la comunidad científica y y entidades gubernamentales y civiles”. Además aun atendiendo a las cifras de éxito que ofrecen estas compañías, cuestiones como la variabilidad de luz respecto a la que se usa durante el entrenamiento de estos sistemas, o el color de la piel de los sujetos, aumentan considerablemente las tasas de error según expone la carta.

"España tiene una de las mayores tasas de paro en la población juvenil. Lo primero es lo primero. Así que, la principal prioridad debería ser sacarnos de la precariedad antes de crear debates sofisticados sobre la ética de los sistemas biométricos” señala Ana Valdivia

De entre todos los problemas asociados a estos sistemas de reconocimiento facial y de emociones destacan, por ejemplo, la asociación de personas a “tendencias” en base a datos estadísticos. Algo que se realiza continuamente en el ámbito publicitario a través del uso de nuestro perfiles en redes sociales, sin embargo, su uso asociado a sistemas que pueden introducirnos en una base de datos de morosos en el mejor de los casos.

Destaca el hecho, que casi podría asociarse al orden de la frenología, de asociar posturas, rasgos y gestos a determinados comportamientos que se tipifiquen como “criminales o peligrosos”. Las correlaciones estadísticas no implican causa-efecto y es un hecho altamente señalado por expertas que las bases de datos que asocian estas categorías contienen profundos sesgos racistas. Si las cámaras que van a operar en la estación de Renfe de Atocha utilizan las bases de datos creadas por los mismos agentes que, a día de hoy, paran en la estación sistemáticamente a personas que no son blancas, es evidente que estos comportamientos seguirán reproduciéndose.

“Otro problema del que debemos ser muy conscientes es la vulnerabilidad que nos genera que demos este poder al algoritmo. Si el algoritmo se equivoca pero le hemos dado este poder, tenemos que demostrar nosotros que se equivoca. Por ejemplo, imaginemos que te ocurre cuando vas a cruzar una frontera o cuando vas a solicitar un servicio público”, añade Liberal.

Para los autores de la carta, la primera pregunta que debemos plantearnos como sociedad es si realmente necesitamos estos sistemas y en caso de que sí los necesitemos, establecer y cerciorarnos de que funcionan correctamente antes de aplicarlos, algo que está funcionando al revés: se detectan los fallos de los sistemas a partir de su aplicación real.

A pesar de que la carta no pone el foco en ello, sí menciona el hecho de que muchas de estos sistemas tienen un alto componente coercitivo. Independientemente de su funcionamiento y el nivel de error que tienen, el hechpo de que la sociedad sepa que están ahí tiene un claro efecto. Tanto Liberal como Valdivia señalan la importancia de llevar el debate a otras esferas más allá del ámbito técnico y académico. “Creo que hace falta un debate social, necesitamos democratizar la inteligencia artificial para que llegue a todo el mundo, pues nos afecta a todas, aunque impacta más en comunidades vulnerables. Hay que crear redes ciudadanas en las que se traslade el conocimiento entre académicos, actores sociales, políticas, personas de a pie. En la academia debemos crear equipos transdisciplinares que analicen las consecuencias sociales de estas tecnologías”, reflexiona Valdivia.

No obstante, como joven investigadora que ha sufrido los problemas asociados a tratar de abrirse camino en la academia de este país, Valdivia señala claramente las prioridades: “no podemos tener tal debate social si nuestra población está sufriendo los estragos de una crisis social, económica y de salud pública. España tiene una de las mayores tasas de paro en la población juvenil. Lo primero es lo primero. Así que, la principal prioridad debería ser sacarnos de la precariedad antes de crear debates sofisticados sobre la ética de los sistemas biométricos”.

Informar de un error
Es necesario tener cuenta y acceder a ella para poder hacer envíos. Regístrate. Entra na túa conta.

Relacionadas

Inteligencia artificial
Inteligencia Artificial y cine ¿Sueñan los cineastas con ovejas eléctricas?
El debate sobre la adopción de la Inteligencia Artificial por las principales disciplinas artísticas sigue candente. La irrupción de Sora vuelve a poner el foco sobre los beneficios y riesgos que conlleva su uso en la generación de imágenes.
Inteligencia artificial
Inteligencia artificial IA y crisis climática: las grandes tecnológicas escogen España para instalar sus gigantescos centros de datos
El boom de la IA ha disparado las necesidades de computación de los centros de datos y su consumo de agua. Las grandes tecnológicas buscan nuevas regiones para instalarlos. España entre ellos.
Análisis
Análisis AI Act: un reglamento nuevo para afianzar el orden racial y colonial de siempre
La nueva normativa de Inteligencia Artificial establece una “regulación paralela” en función de quienes son las personas afectadas, algo observable en los usos que se prevén en contextos fronterizos y policiales.
#85756
26/3/2021 11:16

por eso miso que se critíca aquí los partidos políticos están encantados con el reconocimiento fatal

0
0
Represión
Antifascismo Una manifestación exige la libertad de los seis de Zaragoza tras cumplirse dos meses en prisión
La plataforma convocante de la manifestación, habla de “presos políticos” porque el único hecho probado es la participación en una manifestación ante la extrema derecha.
CNT
Sindicalismo ‘Morala’: “Como las seis de La Suiza, fuimos condenados para dar escarmiento por unos hechos que no cometimos”
Miles de personas saldrán a la calle en Xixón para recordar que ´El sindicalismo no es delito. Tras el mitin de apoyo a las cinco sindicalistas de CNT y una trabajadora, actuarán Nacho Vegas y el Coru Antifascista Al Altu La Lleva.
Personas refugiadas
Refugiados Una cafetería para ser libre en el campamento de refugiados palestinos de Beddawi
Hatem Mekdadi abrió Achefak, que significa ‘Lo que tú quieras’, ante la falta de espacios de encuentro en los campos donde desde hace décadas se hacinan los hijos de la Nakba.
Catalunya
Catalunya La celebración de la Copa América de Vela desata el malestar en Barcelona
El 22 de agosto dará inicio la Copa América de Vela en la capital catalana; un evento de dos meses de duración e inversiones millonarias que destroza el tejido vecinal de los barrios de la costa.
Cine
VEINTE AÑOS DE PORNO FEMINISTA Erika Lust: “La pornografía es política”
Erika Lust es un referente del porno feminista y del porno ético, aunque ella hace algunas puntualizaciones sobre esas etiquetas. Celebra veinte años de carrera con la publicación de un libro que recoge su trabajo.
Racismo
Movimientos sociales Por un antirracismo que no dependa del gran capital 
La sostenibilidad de muchas organizaciones antirracistas de América Latina y el Caribe depende, en gran medida, de la ayuda al desarrollo de la cooperación internacional o del supuesto altruismo o filantropía de las élites económicas.
República
Manifestación Desafío republicano en el décimo aniversario de la coronación de Felipe de Borbón
Más de 130 organizaciones sociales y políticas convocan una marcha en Madrid el 16 de junio. El manifiesto 'Felipe VI: diez años bastan' ha sido firmado por cuatro mil personas.

Últimas

Comunidad El Salto
Comunidad El Salto Las cuentas de El Salto 2023-2024: cada vez más, un gran medio financiado por la gente
El Salto supera el millón de euros anuales de ingresos y aumenta su plantilla hasta llegar a las 28 personas empleadas. Todo eso con criterios éticos de financiación, funcionamiento horizontal y una cooperativa de propiedad colectiva.
Palestina
Palestina Desalojan el intento de acampada propalestina de Plaça Catalunya
La Guardia Urbana de Barcelona ha desalojado las tiendas de campaña y ha denunciado y multado a quince personas esta madrugada.
Laboral
Laboral Luxemburgo vuelve a dar la razón a los interinos: la fijeza sin oposiciones es una medida válida
La respuesta del Tribunal de Justicia de la Unión Europea supone un duro varapalo al Tribunal Supremo, quien en mayo sentenció que rechazaba la fijeza automática para los interinos en abuso de temporalidad.
Cine
Desigualdad en el cine En el cine español siguen mandando los hombres: dirigieron siete de cada diez películas en 2023
Aunque aprecia mejoras en la lucha contra la desigualdad, el informe de 2023 de la Asociación de Mujeres Cineastas (CIMA) pone de manifiesto que los hombres siguen acaparando los puestos de poder y mayores presupuestos en el cine español.
Más noticias
Migración
Regularización La ILP Regularización vence al primer asalto de la ultraderecha en el Congreso
Vox se queda solo en la votación de su enmienda a la totalidad de la Iniciativa Legislativa Popular por la regularización extraordinaria de al menos 500.000 personas migrantes.
Desahucios
Barcelona El caso de Joana: a juicio tras recibir una paliza de un mosso en un desahucio ilegal
La joven, activista del movimiento por la vivienda en el Raval, iba a visitar a una amiga cuando se encontró que la estaban echando de casa, aún con el procedimiento archivado. “Van a golpear a la gente organizada”, dice.
Ocupación israelí
Acampadas propalestinas A Policía desaloxa o alumnado acampado no Reitorado e na Facultade de Historia da USC
A primeira hora desta mañá, máis dunha decena de furgóns policiais chegaron ás instalacións universitarias para expulsar o alumnado que se manifestaba desde hai máis dun mes en protesta polo masacre israelí de Gaza
Lanaren Ekonomia
Lanaren Ekonomia Mecaner enpresan itxieratik harago, trantsizio ekosozialista da bidea
VV.AA.
Mecaner Urdulizeko metalgintza enpresak jarduera guztia eten du, greba mugagabe baten ostean sindikatuen porrota ekarriz

Recomendadas

Italia
Historia Cincuenta años de Piazza della Loggia: memoria de una masacre fascista, de Estado y de la OTAN
La masacre de Piazza della Loggia EN 28 de mayo de 1974 se convertirá en un episodio fundamental para entender los años de plomo de la democracia italiana.
Migración
Fronteras En pausa frente al Mediterráneo: cientos de personas migrantes esperan en un hotel de la Costa del Sol
El centro de estancia temporal extraordinario para personas migrantes de Torrox (Málaga), se ha convertido en un ejemplo positivo frente a los intentos fallidos propuestos en otros municipios.
Inteligencia artificial
Inteligencia Artificial y cine ¿Sueñan los cineastas con ovejas eléctricas?
El debate sobre la adopción de la Inteligencia Artificial por las principales disciplinas artísticas sigue candente. La irrupción de Sora vuelve a poner el foco sobre los beneficios y riesgos que conlleva su uso en la generación de imágenes.