Inteligencia artificial
Los planes del Gobierno para la supervisión de la inteligencia artificial excluyen a la sociedad civil

La futura Agencia de Supervisión de la Inteligencia Artificial (AESIA) no empezará a funcionar antes de otoño. El Ejecutivo, que actualmente discute sobre los recursos que le asignará, planea moldear su operativa de la mano del sector privado.
Inteligencia artificial
Inteligencia artificial. Foto de Binary Koala.

@pjarandia

21 feb 2023 06:00

El Gobierno español quiere actuar como avanzadilla en la regulación de la Inteligencia Artificial (IA) en Europa. “No queremos ser testigo, sino protagonistas de los grandes cambios digitales”, dijo en una reciente entrevista Carme Artigas, secretaria de estado de digitalización y figura clave en estas aspiraciones. En los próximos meses bajo su batuta abrirá la primera agencia nacional en el continente creada para supervisar y controlar estas tecnologías, bajo las siglas de AESIA (Agencia Española de Supervisión de la IA).  

El borrador del reglamento europeo (conocido como AI Act), actualmente en discusión en Bruselas, exige que los Estados miembros designen autoridades nacionales para vigilar su cumplimiento. La mayoría de países todavía no han explicado cómo lo van a hacer. Pero España ya ha detallado que creará una entidad independiente del Gobierno, encargada de supervisar algoritmos tanto del sector privado como público. 

La capacidad de la AESIA para vetar el uso de sistemas potencialmente dañinos para las personas estará muy ligada a la versión final de la norma que se apruebe en Bruselas. También su potestad para imponer sanciones económicas a empresas o administraciones que se salten la normativa. 

Por otro lado, los recursos y el funcionamiento interno de la agencia están ahora mismo en discusión dentro del Gobierno. Pero la documentación oficial disponible y las fuentes consultadas para este artículo permiten dibujar ya cuáles serán las prioridades y líneas maestras de este organismo. 

Testear la normativa europea

El pasado verano Artigas y el comisario europeo de Mercado Interior y Servicios, Thierry Breton, presentaron un sandbox regulatorio —o entorno de pruebas controlado— para que empresas españolas testeen de primera mano la nueva normativa. 

El objetivo del Gobierno español con este testeo es doble. Primero, identificar “mejores prácticas” entre las empresas participantes sobre cómo implementar la regulación europea. Algunas de ellas se recogerán luego en una guía que España se ha comprometido a presentar durante su presidencia del Consejo Europeo en el segundo semestre de este año). 

La capacidad de la nueva normativa europea y de las agencias de supervisión nacionales para detectar (y prevenir) el impacto social negativo de los sistemas de IA es una de las grandes preguntas hoy en el aire

Y segundo, definir la manera en que trabajará la AESIA y cuál será su relación con los actores privados del mercado español. Así se desprende de una licitación pública publicada hace unas semanas y de las explicaciones ofrecidas desde el Gobierno para este artículo. 

“Se da la vuelta a la lógica normativa. Normalmente tú desarrollabas, escribías la ley y veías las consecuencias. Y en base a eso podías hacer las modificaciones legales pertinentes. En este caso es al revés: participan empresas con sistemas de IA más avanzados y se van viendo casos de uso y dónde se pueden producir determinadas discriminaciones. En base a eso, se intentarán minimizar los sesgos de los sistemas”, señala en conversación por videollamada Carlos Ruiz de Toledo, asesor del ministerio. 

En los últimos meses un proveedor externo al Gobierno, formado por la consultora Deloitte y la asociación OdiseIA, ha redactado varias guías y manuales para explicar de manera práctica a las empresas cómo implementar los requisitos de la normativa. Estas guías incluyen autoevaluaciones de conformidad —es decir, listas de preguntas específicas relacionadas con la nueva ley— y están centradas en los casos de uso considerados de alto riesgo por el AI Act. 

Entre marzo y abril de este año —cinco meses después respecto a los planes iniciales del Gobierno— este entorno de pruebas se abrirá a empresas que quieran participar de forma voluntaria, explica por correo electrónico Miguel Valle del Olmo, alto cargo del equipo de Artigas.

Un sello nacional y automatización de la supervisión

En esa licitación se detallan también los planes del Gobierno para los primeros pasos de la agencia. La empresa adjudicataria (el contrato se divide en dos lotes) tendrá entre otras funciones que actualizar y redactar las guías finales del sandbox, pero también “definir los procesos internos” de funcionamiento de la agencia y los perfiles profesionales necesarios para su puesta en marcha. 

Entre estos planes está la creación de un sello nacional de IA. Es decir un certificado que acredite que los sistemas desplegados en el país cumplen con los requisitos exigidos por Europa. Este sello será de carácter voluntario, al menos hasta la entrada en vigor definitiva del reglamento europeo. Desde el Gobierno no aclaran cómo van a incentivar que las empresas pasen por este reconocimiento. Pero deslizan la posibilidad de vincular el acceso a los fondos de financiación europeos a este sello de calidad. 

Otra de las ideas de Artigas es automatizar todo lo posible el trabajo de supervisión de la agencia. Para ello se desarrollará una herramienta web a la que tendrá acceso tanto el personal de la AESIA como las empresas que usen sistemas de IA de alto riesgo. En ella las empresas podrán auto-evaluar la conformidad de sus sistemas con el reglamento; así como hacer un seguimiento una vez han sido desplegados en el mercado. La herramienta, según la documentación oficial consultada, también incluirá un análisis del código y los datasets de los sistemas. 

“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith Membrives, activista por los derechos digitales y de Lafede.cat

Dentro del consejo asesor de la IA del Gobierno se ha discutido en los últimos meses la automatización, al menos parcial, de las auditorías de algoritmos desde la AESIA, señala Amparo Alonso Betanzos, miembro de este consejo. Aunque esta investigadora, como otras voces, alerta de las limitaciones que tiene realizar un análisis automatizado a sistemas de IA. 

“Automatizar ciertas cosas es bastante complejo. Habrá partes que sí se podrán medir de forma automática: los datos que se recogen, las variables usadas, etc. Pero por ejemplo la interfaz con humanos es más complicada”, señala. 

Recursos todavía en el aire 

Como cualquier agencia pública de nueva creación, la AESIA necesita recursos económicos y humanos suficientes para empezar a operar. Su dotación presupuestaria es precisamente el principal motivo hoy de disputa entre este departamento y otros ministerios del Gobierno.

Inicialmente se difundió que la agencia contaría con cinco millones de euros. Ruiz de Toledo asegura que la intención es aumentar este presupuesto antes de su puesta en marcha, pero aclara que esto dependerá del Ministerio de Hacienda. Y apunta que una de las opciones para aumentar estos recursos es que las futuras sanciones económicas de la agencia a empresas o administraciones vayan a parar a su propio presupuesto.

Una parte importante del dinero finalmente designado será para pagar las nóminas de la plantilla de la agencia. El Gobierno estimó en otoño una plantilla de 40 trabajadores, todos ellos funcionarios del Estado de perfiles técnicos, administrativos y jurídicos. La ausencia de otro tipo de perfiles ha despertado suspicacias entre investigadores y entidades en defensa de la justicia algorítmica.

Inteligencia artificial
Regulación de algoritmos Varios colectivos piden que la Agencia de Supervisión de la Inteligencia Artificial tenga un registro público de algoritmos
Las organizaciones reclaman participar en el diseño de la futura Agencia Española de Supervisión de Inteligencia Artificial y proponen la creación de estándares y criterios de evaluación algorítmica que aseguren un buen uso de la inteligencia artificial en la vida cotidiana, en las administraciones públicas y las empresas privadas.

“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith Membrives, activista por los derechos digitales y de Lafede.cat. Ruiz De Toledo no descarta que en los próximos meses se pueda abrir la plantilla a profesionales o colaboradores externos, aunque reconoce las dificultades para justificar su inclusión en un organismo como este.

Los recursos económicos y humanos de la AESIA, claves para definir su capacidad de supervisión real, se incluirán en unos estatutos internos que deberían estar listos antes del verano. La previsión más optimista del equipo de Artigas es tener toda la documentación en junio y dar al Gobierno tiempo para tramitar las leyes pertinentes en verano. Así, la agencia echaría andar, si nada se tuerce por el camino, el próximo otoño. 

A nivel oficial el Gobierno solo ha anunciado por ahora que la sede física de la agencia estará en A Coruña, después de un concurso entre varias candidatas. Una asignación que ha levantado una gran polvareda política en Granada, una de las sedes candidatas, que ha criticado al Ejecutivo central por falta de transparencia y un supuesto trato de favor hacia la ciudad gallega. 

Impacto social de la IA 

La capacidad de la nueva normativa europea y de las agencias de supervisión nacionales para detectar (y prevenir) el impacto social negativo de los sistemas de IA es una de las grandes preguntas hoy en el aire.

Ya en 2020 el Gobierno español incluyó en la Estrategia Nacional de Inteligencia Artificial (ENIA) la creación de un observatorio público de impacto social algorítmico. Más de dos años después nada se sabe de esta entidad. Ahora, bajo el paraguas de la nueva normativa europea, el Ejecutivo plantea un plan en teoría más ambicioso para proteger a la ciudadanía de los efectos perniciosos de estas tecnologías.

“La ciudadanía no solo se va a posicionar cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos procesos sean diseñados de forma que, además de la parte más mecánica, se tenga también en cuenta su impacto en la sociedad”

En los contratos publicados, el Gobierno incluye la creación de un “plan nacional de protección de colectivos vulnerables de IA” con varias acciones. Entre ellas un estudio de las implicaciones y riesgos de la IA por colectivos y ámbitos y la redacción de manuales de buenas prácticas para sistemas de IA en las administraciones públicas -los cuales habría que aplicar a algoritmos en uso desde hace años en España como RisCanvi (usado en el sistema penitenciario catalán), Veripol (un algoritmo para la detección de denuncias falsas en la Policía) o VioGén (un sistema automatizado integrado en los protocolos contra la violencia machista).

Asimismo se especifica la creación de un “laboratorio de observación de riesgos” que realizará “auditorías informales” sobre sistemas considerados de riesgo. Este plan de trabajo se realizará entre empresas externas y el equipo de Artigas, aclara Miguel Valle del Olmo. Y sus resultados se entregarán a la propia AESIA, señala. 

Rol de la sociedad civil

Estos planes sobre el papel contrastan con el rol que el Gobierno español está dejando hasta ahora a la sociedad civil. En España en los últimos años han proliferado entidades de defensa de los derechos humanos en el ámbito digital y de la IA: organizaciones como la Fundación Civio, que ha llevado a los tribunales al Gobierno a causa de un software usado para la asignación del bono social eléctrico; el colectivo Algorights, y el Observatorio de Trabajo, Algoritmo y Sociedad (TAS), de defensa de los derechos de los trabajadores de plataformas.

Estas y otro medio centenar de organizaciones sociales reclamaron en septiembre pasado al Gobierno a través de una carta pública poder participar en el diseño y en la estrategia de la nueva agencia supervisora. Semanas después Carme Artigas recibió a varios representantes para escuchar sus peticiones. 

Varias personas participantes en este encuentro señalan que, más allá de las buenas palabras, Artigas descartó su inclusión en el proceso de diseño de la agencia. De hecho, cuatro meses después de esta reunión el Gobierno no ha contactado de nuevo con ellas.  

“Estamos asistiendo a un proceso disruptivo en el cual deben participar muchos más actores, de eso no hay duda, sino será demasiado tarde”

Albert Sabater, investigador y director del observatorio de ética en IA de Cataluña (OEIAC), reclama la necesidad de aumentar el peso de la sociedad civil en estos procesos. “La ciudadanía no solo se va a posicionar cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos procesos sean diseñados de forma que, además de la parte más mecánica, se tenga también en cuenta su impacto en la sociedad”. “Estamos asistiendo a un proceso disruptivo en el cual deben participar muchos más actores, de eso no hay duda, sino será demasiado tarde”, añade. 

Otro elemento llamativo de este proyecto es cómo se está licitando externamente el diseño y desarrollo de varios de los planes y acciones de la futura agencia. David Cabo, co-director de la Fundación Civio, especula con que el Gobierno esté apurado en los plazos y trate así de llegar a tiempo para arrancar con la agencia este año.

“El diseño de la agencia debería estar en manos públicas. Si quieres que la agencia acumule conocimiento para vigilar a los demás, si empiezas licitando en vez de contratando a los funcionarios, ese conocimiento no se va a quedar dentro de la agencia”, advierte.

Texto original
Este reportaje está basado en un texto publicado originalmente en AlgorithmWatch con licencia Creative Commons. La actual versión ha sido adaptada y modificada respetando el sentido del contenido original y traducida por el propio autor.
Informar de un error
Es necesario tener cuenta y acceder a ella para poder hacer envíos. Regístrate. Entra na túa conta.

Relacionadas

Inteligencia artificial
Inteligencia Artificial y cine ¿Sueñan los cineastas con ovejas eléctricas?
El debate sobre la adopción de la Inteligencia Artificial por las principales disciplinas artísticas sigue candente. La irrupción de Sora vuelve a poner el foco sobre los beneficios y riesgos que conlleva su uso en la generación de imágenes.
Inteligencia artificial
Inteligencia artificial IA y crisis climática: las grandes tecnológicas escogen España para instalar sus gigantescos centros de datos
El boom de la IA ha disparado las necesidades de computación de los centros de datos y su consumo de agua. Las grandes tecnológicas buscan nuevas regiones para instalarlos. España entre ellos.
Minería
Mina de Touro A Xunta oculta desde xaneiro a solicitude dun novo megaproxecto mineiro en Touro
Cobre San Rafael solicita ademais que sexa considerado Proxecto Industrial Estratéxico para “facilitar a súa tramitación exprés e impedir a participación pública”, segundo indican máis dun cento de colectivos nun comunicado conxunto.
Aborto
Derecho al aborto El Constitucional tumba el recurso de Vox contra la reforma de la ley del aborto
La mayoría progresista de este tribunal asegura que la Ley 1/2023 de salud sexual y reproductiva es constitucional y avala, entre otros aspectos, que mujeres de 16 y 17 años puedan abortar sin la necesidad de consentimiento paterno.
Frontera sur
Masacre de Melilla Melilla-Nador, 24 de junio de 2022: anatomía de un crimen racista
Setenta personas permanecen desaparecidas dos años después de la masacre que tuvo lugar en el paso fronterizo que une Marruecos y España. Un informe aporta pruebas de que se trató de una trampa premeditada contra los migrantes.
Francia
Francia El Frente Popular se pone en manos de la movilización y el miedo a la ultraderecha
La coalición unitaria de las izquierdas confía en que una mayor participación, sobre todo de los jóvenes, contrarreste las tensiones internas y la demonización mediática en la campaña de las legislativas en Francia.
Genocidio
Genocidio Crece el boicot a empresas que trabajan con Israel: Barclays, excluido de los festivales británicos
La multinacional Intel anuncia que congela una inversión de 25.000 millones de dólares en Israel. Crecen los problemas financieros e internos para el régimen de Benjamin Netanyahu.
Biodiversidad
Consejo Europeo Luz verde a la Ley de la Restauración de la Naturaleza tras meses de bloqueo
El cambio de postura de la ministra de Medio Ambiente austriaca, que ha votado en contra de la opinión de su canciller, y la abstención de Bélgica han sido claves para acabar con el bloqueo de conservadores y ultras al paquete medioambiental.
Migración
Fronteras Libia-Creta, la nueva ruta migratoria del Mediterráneo Oriental
Recientemente, una nueva ruta migratoria se ha dibujado en los mapas del Mediterráneo Oriental, la que une Libia con las islas griegas de Creta y Gavdos, ajenas antes al trasiego migratorio.

Últimas

Comunidad El Salto
Comunidad El Salto Las cuentas de El Salto 2023-2024: cada vez más, un gran medio financiado por la gente
El Salto supera el millón de euros anuales de ingresos y aumenta su plantilla hasta llegar a las 28 personas empleadas. Todo eso con criterios éticos de financiación, funcionamiento horizontal y una cooperativa de propiedad colectiva.
Cine
Cine ‘Alumbramiento’, una ficción recupera la historia real de las madres de Peñagrande (y de los bebés robados)
La segunda película del director Pau Teixidor aborda el internamiento en centros de adolescentes embarazadas y el robo de recién nacidos en un Madrid que celebraba la victoria electoral del PSOE de Felipe González.
Análisis
Análisis La tortura: causar el mayor daño posible al pueblo palestino
Las imágenes de soldados de la ocupación israelíes humillando a hombres palestinos en calzoncillos, con las manos atadas a las espaldas y ojos vendados, nos recuerdan que la tortura persiste en nuestras sociedades. No solo eso, ya no se esconde.
Agricultura
Agricultura de próximidad València deniega el permiso a un mercado que denuncia los bajos precios agrícolas
El Ayuntamiento suprime la próxima edición del “Mercado de Precios Justos”, impulsada por Per L'Horta, amparándose en una ordenanza que no impidió realizar las dos ediciones anteriores.
Derecho a la vivienda
Derecho a la vivienda El Sindicato de Inquilinos cifra en 17.000 los pisos turísticos de Madrid
Este colectivo llama a identificar los pisos turísticos en los barrios de Madrid y presionar para que vuelvan al mercado residencial. Solo seis de cada 100 son legales.

Recomendadas

Alimentación
Claudia Polo “Nunca ha habido tanta información sobre el comer y nunca hemos estado tan desconectados de la alimentación”
En su nuevo libro, ‘Entorno’, la comunicadora gastronómica Claudia Polo invita a analizar la relación que tenemos con la comida, redescubrirla y acercarnos con intuición a la cocina.
América Latina
Raúl Zibechi “Gaza es el fin de la humanidad. Hay un proyecto de exterminio de los pueblos molestos”
Raúl Zibechi es uno de los pensadores latinoamericanos que mejor ha explicado desde su labor como ensayista y periodista las transformaciones experimentadas en las últimas décadas y el papel de los movimientos en el pasado y futuro de la región.
Justicia
Problemas con la justicia Joaquín Urías: “La mayor campaña de desprestigio de la judicatura la están haciendo los propios jueces”
Desde 2017, una serie de jueces parecen haberse subido al monte. El jurista Joaquín Urías desgrana en su último libro las circunstancias de este destape y las consecuencias que esto puede tener para la democracia en su conjunto.
Personas refugiadas
Refugiados Una cafetería para ser libre en el campamento de refugiados palestinos de Beddawi
Hatem Mekdadi abrió Achefak, que significa ‘Lo que tú quieras’, ante la falta de espacios de encuentro en los campos donde desde hace décadas se hacinan los hijos de la Nakba.