Inteligencia artificial
Los planes del Gobierno para la supervisión de la inteligencia artificial excluyen a la sociedad civil

La futura Agencia de Supervisión de la Inteligencia Artificial (AESIA) no empezará a funcionar antes de otoño. El Ejecutivo, que actualmente discute sobre los recursos que le asignará, planea moldear su operativa de la mano del sector privado.
Inteligencia artificial
Inteligencia artificial. Foto de Binary Koala.

@pjarandia

21 feb 2023 06:00

El Gobierno español quiere actuar como avanzadilla en la regulación de la Inteligencia Artificial (IA) en Europa. “No queremos ser testigo, sino protagonistas de los grandes cambios digitales”, dijo en una reciente entrevista Carme Artigas, secretaria de estado de digitalización y figura clave en estas aspiraciones. En los próximos meses bajo su batuta abrirá la primera agencia nacional en el continente creada para supervisar y controlar estas tecnologías, bajo las siglas de AESIA (Agencia Española de Supervisión de la IA).  

El borrador del reglamento europeo (conocido como AI Act), actualmente en discusión en Bruselas, exige que los Estados miembros designen autoridades nacionales para vigilar su cumplimiento. La mayoría de países todavía no han explicado cómo lo van a hacer. Pero España ya ha detallado que creará una entidad independiente del Gobierno, encargada de supervisar algoritmos tanto del sector privado como público. 

La capacidad de la AESIA para vetar el uso de sistemas potencialmente dañinos para las personas estará muy ligada a la versión final de la norma que se apruebe en Bruselas. También su potestad para imponer sanciones económicas a empresas o administraciones que se salten la normativa. 

Por otro lado, los recursos y el funcionamiento interno de la agencia están ahora mismo en discusión dentro del Gobierno. Pero la documentación oficial disponible y las fuentes consultadas para este artículo permiten dibujar ya cuáles serán las prioridades y líneas maestras de este organismo. 

Testear la normativa europea

El pasado verano Artigas y el comisario europeo de Mercado Interior y Servicios, Thierry Breton, presentaron un sandbox regulatorio —o entorno de pruebas controlado— para que empresas españolas testeen de primera mano la nueva normativa. 

El objetivo del Gobierno español con este testeo es doble. Primero, identificar “mejores prácticas” entre las empresas participantes sobre cómo implementar la regulación europea. Algunas de ellas se recogerán luego en una guía que España se ha comprometido a presentar durante su presidencia del Consejo Europeo en el segundo semestre de este año). 

La capacidad de la nueva normativa europea y de las agencias de supervisión nacionales para detectar (y prevenir) el impacto social negativo de los sistemas de IA es una de las grandes preguntas hoy en el aire

Y segundo, definir la manera en que trabajará la AESIA y cuál será su relación con los actores privados del mercado español. Así se desprende de una licitación pública publicada hace unas semanas y de las explicaciones ofrecidas desde el Gobierno para este artículo. 

“Se da la vuelta a la lógica normativa. Normalmente tú desarrollabas, escribías la ley y veías las consecuencias. Y en base a eso podías hacer las modificaciones legales pertinentes. En este caso es al revés: participan empresas con sistemas de IA más avanzados y se van viendo casos de uso y dónde se pueden producir determinadas discriminaciones. En base a eso, se intentarán minimizar los sesgos de los sistemas”, señala en conversación por videollamada Carlos Ruiz de Toledo, asesor del ministerio. 

En los últimos meses un proveedor externo al Gobierno, formado por la consultora Deloitte y la asociación OdiseIA, ha redactado varias guías y manuales para explicar de manera práctica a las empresas cómo implementar los requisitos de la normativa. Estas guías incluyen autoevaluaciones de conformidad —es decir, listas de preguntas específicas relacionadas con la nueva ley— y están centradas en los casos de uso considerados de alto riesgo por el AI Act. 

Entre marzo y abril de este año —cinco meses después respecto a los planes iniciales del Gobierno— este entorno de pruebas se abrirá a empresas que quieran participar de forma voluntaria, explica por correo electrónico Miguel Valle del Olmo, alto cargo del equipo de Artigas.

Un sello nacional y automatización de la supervisión

En esa licitación se detallan también los planes del Gobierno para los primeros pasos de la agencia. La empresa adjudicataria (el contrato se divide en dos lotes) tendrá entre otras funciones que actualizar y redactar las guías finales del sandbox, pero también “definir los procesos internos” de funcionamiento de la agencia y los perfiles profesionales necesarios para su puesta en marcha. 

Entre estos planes está la creación de un sello nacional de IA. Es decir un certificado que acredite que los sistemas desplegados en el país cumplen con los requisitos exigidos por Europa. Este sello será de carácter voluntario, al menos hasta la entrada en vigor definitiva del reglamento europeo. Desde el Gobierno no aclaran cómo van a incentivar que las empresas pasen por este reconocimiento. Pero deslizan la posibilidad de vincular el acceso a los fondos de financiación europeos a este sello de calidad. 

Otra de las ideas de Artigas es automatizar todo lo posible el trabajo de supervisión de la agencia. Para ello se desarrollará una herramienta web a la que tendrá acceso tanto el personal de la AESIA como las empresas que usen sistemas de IA de alto riesgo. En ella las empresas podrán auto-evaluar la conformidad de sus sistemas con el reglamento; así como hacer un seguimiento una vez han sido desplegados en el mercado. La herramienta, según la documentación oficial consultada, también incluirá un análisis del código y los datasets de los sistemas. 

“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith Membrives, activista por los derechos digitales y de Lafede.cat

Dentro del consejo asesor de la IA del Gobierno se ha discutido en los últimos meses la automatización, al menos parcial, de las auditorías de algoritmos desde la AESIA, señala Amparo Alonso Betanzos, miembro de este consejo. Aunque esta investigadora, como otras voces, alerta de las limitaciones que tiene realizar un análisis automatizado a sistemas de IA. 

“Automatizar ciertas cosas es bastante complejo. Habrá partes que sí se podrán medir de forma automática: los datos que se recogen, las variables usadas, etc. Pero por ejemplo la interfaz con humanos es más complicada”, señala. 

Recursos todavía en el aire 

Como cualquier agencia pública de nueva creación, la AESIA necesita recursos económicos y humanos suficientes para empezar a operar. Su dotación presupuestaria es precisamente el principal motivo hoy de disputa entre este departamento y otros ministerios del Gobierno.

Inicialmente se difundió que la agencia contaría con cinco millones de euros. Ruiz de Toledo asegura que la intención es aumentar este presupuesto antes de su puesta en marcha, pero aclara que esto dependerá del Ministerio de Hacienda. Y apunta que una de las opciones para aumentar estos recursos es que las futuras sanciones económicas de la agencia a empresas o administraciones vayan a parar a su propio presupuesto.

Una parte importante del dinero finalmente designado será para pagar las nóminas de la plantilla de la agencia. El Gobierno estimó en otoño una plantilla de 40 trabajadores, todos ellos funcionarios del Estado de perfiles técnicos, administrativos y jurídicos. La ausencia de otro tipo de perfiles ha despertado suspicacias entre investigadores y entidades en defensa de la justicia algorítmica.

Inteligencia artificial
Regulación de algoritmos Varios colectivos piden que la Agencia de Supervisión de la Inteligencia Artificial tenga un registro público de algoritmos
Las organizaciones reclaman participar en el diseño de la futura Agencia Española de Supervisión de Inteligencia Artificial y proponen la creación de estándares y criterios de evaluación algorítmica que aseguren un buen uso de la inteligencia artificial en la vida cotidiana, en las administraciones públicas y las empresas privadas.

“Sin perfiles humanistas o sociales en esta plantilla, ¿cómo vas a observar el impacto social de los sistemas de IA?”, se pregunta Judith Membrives, activista por los derechos digitales y de Lafede.cat. Ruiz De Toledo no descarta que en los próximos meses se pueda abrir la plantilla a profesionales o colaboradores externos, aunque reconoce las dificultades para justificar su inclusión en un organismo como este.

Los recursos económicos y humanos de la AESIA, claves para definir su capacidad de supervisión real, se incluirán en unos estatutos internos que deberían estar listos antes del verano. La previsión más optimista del equipo de Artigas es tener toda la documentación en junio y dar al Gobierno tiempo para tramitar las leyes pertinentes en verano. Así, la agencia echaría andar, si nada se tuerce por el camino, el próximo otoño. 

A nivel oficial el Gobierno solo ha anunciado por ahora que la sede física de la agencia estará en A Coruña, después de un concurso entre varias candidatas. Una asignación que ha levantado una gran polvareda política en Granada, una de las sedes candidatas, que ha criticado al Ejecutivo central por falta de transparencia y un supuesto trato de favor hacia la ciudad gallega. 

Impacto social de la IA 

La capacidad de la nueva normativa europea y de las agencias de supervisión nacionales para detectar (y prevenir) el impacto social negativo de los sistemas de IA es una de las grandes preguntas hoy en el aire.

Ya en 2020 el Gobierno español incluyó en la Estrategia Nacional de Inteligencia Artificial (ENIA) la creación de un observatorio público de impacto social algorítmico. Más de dos años después nada se sabe de esta entidad. Ahora, bajo el paraguas de la nueva normativa europea, el Ejecutivo plantea un plan en teoría más ambicioso para proteger a la ciudadanía de los efectos perniciosos de estas tecnologías.

“La ciudadanía no solo se va a posicionar cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos procesos sean diseñados de forma que, además de la parte más mecánica, se tenga también en cuenta su impacto en la sociedad”

En los contratos publicados, el Gobierno incluye la creación de un “plan nacional de protección de colectivos vulnerables de IA” con varias acciones. Entre ellas un estudio de las implicaciones y riesgos de la IA por colectivos y ámbitos y la redacción de manuales de buenas prácticas para sistemas de IA en las administraciones públicas -los cuales habría que aplicar a algoritmos en uso desde hace años en España como RisCanvi (usado en el sistema penitenciario catalán), Veripol (un algoritmo para la detección de denuncias falsas en la Policía) o VioGén (un sistema automatizado integrado en los protocolos contra la violencia machista).

Asimismo se especifica la creación de un “laboratorio de observación de riesgos” que realizará “auditorías informales” sobre sistemas considerados de riesgo. Este plan de trabajo se realizará entre empresas externas y el equipo de Artigas, aclara Miguel Valle del Olmo. Y sus resultados se entregarán a la propia AESIA, señala. 

Rol de la sociedad civil

Estos planes sobre el papel contrastan con el rol que el Gobierno español está dejando hasta ahora a la sociedad civil. En España en los últimos años han proliferado entidades de defensa de los derechos humanos en el ámbito digital y de la IA: organizaciones como la Fundación Civio, que ha llevado a los tribunales al Gobierno a causa de un software usado para la asignación del bono social eléctrico; el colectivo Algorights, y el Observatorio de Trabajo, Algoritmo y Sociedad (TAS), de defensa de los derechos de los trabajadores de plataformas.

Estas y otro medio centenar de organizaciones sociales reclamaron en septiembre pasado al Gobierno a través de una carta pública poder participar en el diseño y en la estrategia de la nueva agencia supervisora. Semanas después Carme Artigas recibió a varios representantes para escuchar sus peticiones. 

Varias personas participantes en este encuentro señalan que, más allá de las buenas palabras, Artigas descartó su inclusión en el proceso de diseño de la agencia. De hecho, cuatro meses después de esta reunión el Gobierno no ha contactado de nuevo con ellas.  

“Estamos asistiendo a un proceso disruptivo en el cual deben participar muchos más actores, de eso no hay duda, sino será demasiado tarde”

Albert Sabater, investigador y director del observatorio de ética en IA de Cataluña (OEIAC), reclama la necesidad de aumentar el peso de la sociedad civil en estos procesos. “La ciudadanía no solo se va a posicionar cuando exista algo malo [con la IA]. Quiere ser escuchada para que estos procesos sean diseñados de forma que, además de la parte más mecánica, se tenga también en cuenta su impacto en la sociedad”. “Estamos asistiendo a un proceso disruptivo en el cual deben participar muchos más actores, de eso no hay duda, sino será demasiado tarde”, añade. 

Otro elemento llamativo de este proyecto es cómo se está licitando externamente el diseño y desarrollo de varios de los planes y acciones de la futura agencia. David Cabo, co-director de la Fundación Civio, especula con que el Gobierno esté apurado en los plazos y trate así de llegar a tiempo para arrancar con la agencia este año.

“El diseño de la agencia debería estar en manos públicas. Si quieres que la agencia acumule conocimiento para vigilar a los demás, si empiezas licitando en vez de contratando a los funcionarios, ese conocimiento no se va a quedar dentro de la agencia”, advierte.

Texto original
Este reportaje está basado en un texto publicado originalmente en AlgorithmWatch con licencia Creative Commons. La actual versión ha sido adaptada y modificada respetando el sentido del contenido original y traducida por el propio autor.
Informar de un error
Es necesario tener cuenta y acceder a ella para poder hacer envíos. Regístrate. Entra na túa conta.

Relacionadas

Economía social y solidaria
Tecnología Inteligencia Artificial y economía solidaria: ¿posibles aliadas?
¿Cómo debe relacionarse la economía solidaria con una tecnología que vulnera derechos humanos y ambientales constantemente? Cooperativas e investigadoras tecnológicas animan al movimiento a perderle el miedo y a utilizarla de manera crítica.
Inteligencia artificial
Resistencia ante la IA en pos de una transición justa Resistencia ante la IA en pos de una transición justa
No se puede concebir una transición justa sin cuestionar el engranaje de la inteligencia artificial
Inteligencia artificial
Inteligencia artificial La demanda energética de los centros de datos de IA se cuadruplicará para 2030, según un informe
Un estudio de la Agencia Internacional de la Energía predice que los centros de datos aumentarán la demanda de electricidad en un 20% de aquí a 2030 en el Norte global.
Gasto militar
Gasto militar ¿De dónde sacará Sánchez el dinero para financiar el incremento del gasto en defensa?
La promesa de aumentar las partidas presupuestarias militares necesita redirigir 10.471 millones de euros para alcanzar el 2% del PIB. Cumplirlo este año abre a su vez un grave problema para hacerlo en 2026.
Salud
El precio justo La nueva ley del medicamento o estrategias para bajar el precio de los genéricos (que son caros)
En España pagamos de media un 10% más por los medicamentos genéricos que consumimos que en el resto de la UE. Al mismo tiempo, nuestro gasto farmacéutico ha aumentado un 33% en la última década.
Israel
España El Gobierno español vuelve a romper su compromiso de no comprar armas a Israel
El Ejecutivo de Pedro Sánchez adquiere armamento israelí por valor de 6,6 millones de euros a pesar de haberse comprometido a un “embargo total”.
Israel
Israel Nuevos contratos de compra de armamento a Israel tensan la situación del Gobierno
El incumplimiento del compromiso al “embargo total” por parte del PSOE deja críticas de Sumar y la opción de romper la coalición por parte de Izquierda Unida. El Ejecutivo asegura que está buscando la manera de rescindir el contrato.
Gobierno de coalición
Carrera armamentística Izquierda Unida denuncia incumplimiento del PSOE y habla de “crisis de Gobierno”
El aumento del gasto en defensa y la compra de armas a Israel, a pesar del compromiso de no hacerlo, ha enfadado a tres pesos pesados de la coalición.

Últimas

There Is Alternative
There Is Alternative De redes, software, cacharritos y todo lo que no sea Elon Musk | TINA #1
Primer programa del podcast There Is Alternative de El Salto Radio sobre el lado oscuro de la tecnología y sus alternativas éticas y responsables.
Opinión
Opinión Priorizar bombas sobre camas de hospital
El presupuesto público parece tener siempre un límite cuando se trata de contratar personal o mejorar infraestructuras en Sanidad. Pero no lo tiene cuando se trata de gasto militar.
Opinión
Guggenheim Urdaibai Respuesta al Agirre Center: no participaremos en este juego con cartas marcadas
VV.AA.
El “proceso de escucha” se invalida a sí mismo al existir un plan ya elaborado y no publicado “de expansión discontinua del Guggenheim de Bilbao en Urdaibai”.
Más noticias
Estados Unidos
Extrema derecha Los beneficios de Tesla caen un 71% y Musk anuncia que reducirá su colaboración con Trump
Las protestas contra Elon Musk funcionan y hacen caer los beneficios y el valor en bolsa de la compañía. El anuncio del millonario hace que las acciones de Tesla crezcan cerca de un 5% en apenas unas horas.
Comunidad de Madrid
Huelga de universidades públicas Con un gigantesco mural profesorado y alumnado exigen más inversión en las universidades públicas de Madrid
Después del encierro del pasado 7 de abril, una espectacular acción de la comunidad universitaria ha llamado la atención sobre el recorte de recursos que prevé el gobierno de Díaz Ayuso en su nueva ley de universidades.
Laboral
Laboral Tres nuevos días de huelga para parar el ERE en Bridgestone
Los sindicatos de forma unánime convocan paros los días 24, 25 y 26 de abril y no descartan ampliar las acciones de lucha para evitar el despido de 546 trabajadores.

Recomendadas

Medio ambiente
Medio ambiente Que papel xoga Abanca no proxecto da celulosa de Altri en Galiza?
A sociedade público-privada Impulsa Galica, que cimentou os primeiros plans da multinacional papeleira e Greenalia está participada fundamentalmente pola Xunta e polo banco que xurdiu da desastrosa fusión das caixas de aforro galegas.
El Salvador
El Salvador El caso Ábrego García destapa el turbio pacto de Trump con Bukele
El joven salvadoreño no ha sido condenado ni en Estados Unidos ni en su país de origen, pero es uno de los cientos de personas con la vida pendiente de un hilo por las políticas de Trump y Bukele.
Historia
Historia Miguel Martínez: “En Villalar, la izquierda arrancó los comuneros al franquismo”
Miguel Martínez, profesor de historia y literatura españolas en la Universidad de Chicago, analiza desde una óptica progresista la Edad Moderna, el momento histórico fetiche de las derechas españolistas.