Inteligencia artificial
Contra la lógica de Silicon Valley, inteligencia artificial feminista
“Ninguno de los proyectos que apoyamos puede ser un proyecto de la academia o de una empresa, sino que tiene que venir de una necesidad comunitaria. Tiene que haber investigadoras comunitarias y una comunidad involucrada. Y debe ser caminado, desde su concepción, por esa comunidad”. Para la investigadora y activista Paola Ricaurte, este es uno de los principios básicos del trabajo de la Red Feminista de Investigación en IA para América Latina y el Caribe, que se presenta públicamente como IA Feminista. Ricaurte es la coordinadora de esta iniciativa que agrupa a investigadoras, tecnólogas y activistas de la región para dar a apoyo al desarrollo de herramientas de inteligencia artificial que no reproduzcan las lógicas extractivistas de las grandes tecnológicas.
Durante seis años la red se ha dedicado a apoyar y acompañar estas iniciativas tecnológicas comunitarias, algunas de las cuáles han demostrado sobradamente su utilidad. “No es que nosotras”, reconoce Ricaurte, “vayamos a desmantelar ni el sistema capitalista, ni la industria extractiva patriarcal de la inteligencia artificial, pero estamos aquí presentes diciendo ‘aquí estamos, estas somos y no se van a deshacer de nosotras tan fácilmente’”.
La Red pone el acento en las formas en las que se desarrollan esos proyectos, “estamos tratando de hablar de distintos modelos de gobernanzas, de metodologías feministas, de formas de conocimiento que son invisibilizadas, excluidas”, detalla la investigadora. Por eso, además de ese arraigo a la comunidad, que supone que “la tecnología tiene que desarrollarse por las personas que tienen el conocimiento de vida sobre lo que es su realidad”, en palabras de Ricaurte, los proyectos tienen que ser impulsados por mujeres o colectivos de mujeres, tratar de generar infraestructuras libres que no dependan de grandes corporaciones para su desarrollo y que protejan el conocimiento y los saberes de las comunidades.
“Frente a esta lógica patriarcal de ‘muévete rápido y rompe cosas’ (una máxima que se atribuye a Mark Zuckerberg y se relaciona con la forma de innovar de las grandes tecnológicas), nosotras vamos muy despacio y tratando de no romper nada”
De ahí que una de las principales preocupaciones, que aparece sistemáticamente en los proyectos apoyados es el tratamiento de los datos. Ricaurte lo explica de una manera muy gráfica: “Frente a esta lógica patriarcal de ‘muévete rápido y rompe cosas’ (una máxima que se atribuye a Mark Zuckerberg y se relaciona con la forma de innovar de las grandes tecnológicas), nosotras vamos muy despacio y tratando de no romper nada, en absoluto. Y eso requiere mucho esfuerzo de muchas partes. No es que sea sencillo, pero aun así pienso que es valioso”.
Las iniciativas se despliegan en contextos complejos y hacen frente a múltiples obstáculos. Entre las dificultades más recurrentes la coordinadora de IA Feminista destaca las brechas relacionadas con las infraestructuras, aunque no solo las que marcan la geografía de los lugares donde se desarrollan los proyectos, sino también las de conectividad o las de acceso, además de las que tienen que ver con las lenguas, porque algunas de ellas están impulsadas por comunidades que hablan otras lenguas que no son ni el español, ni el portugués. En general, las condiciones de desarrollo y puesta en marcha de los proyectos son precarias y, en muchos casos, se suma la existencia de “contextos políticos inestables o complejos”, según Ricaurte.
En los prácticamente seis años de funcionamiento, la red ha dado apoyo a diecisiete proyectos, que van desde investigaciones a ejecución de aplicaciones concretas, que se despliegan por una decena de países de la región y que se encuentran en diferentes momentos de desarrollo. Este apoyo consiste en una parte de ayuda financiera, pero también en un acompañamiento técnico adaptado a las necesidades de las propuestas. Como resume Paola Ricaurte: “La labor de la red consiste en ver de qué manera nosotras podemos dar apoyo a estos equipos para tratar de que la tecnología esa que ellos imaginan o sueñan sea viable, sea posible”.
Tal vez pueda parece que diecisiete proyectos no son muchos, pero como explica la coordinadora de la red “desarrollar tecnologías desde donde nosotras las pensamos requiere mucho más tiempo, requiere mucho más esfuerzo, muchas más personas”. Ricuarte se refiere a esa lógica de cuidado y de mimo por las personas, por las comunidades, por los datos o por el entorno que cruza el funcionamiento de la red y que comparte con los proyectos en los que se implican. “Toda la concepción de la industria”, asegura la investigadora basada en México, “es patriarcal. Es extractivista, busca la acumulación, el despojo, la concentración de la riqueza, la concentración del conocimiento. Es una industria que trata de devorarlo todo, de llevarse todo a su paso”. Por ello atribuye a la iniciativa de la red la función de “llamar la atención sobre lo devastadora que es esta industria, lo imposible de sostener en el tiempo”.
Toda la concepción de la industria”, asegura la investigadora Ricuarte, “es patriarcal. Es extractivista, busca la acumulación, el despojo, la concentración de la riqueza, la concentración del conocimiento
El mérito, la virtud de la iniciativa de IA Feminista es existir y demostrar que hay espacio para modelos de desarrollo de la IA que cuestionen el de las grandes tecnológicas. Y destacan que es una victoria poder “hablar en el mismo campo, en la misma cancha” que las grandes tecnológicas, a pesar de los desequilibrios. Estos modelos son los que generan lo que llaman con orgullo las “IA pequeñitas”. “No estamos disputando ni la universalidad, ni la escalabilidad”, señala Ricaurte y añade: “No buscamos instaurar un modelo que sea válido para todo el mundo. Simplemente, estamos pensando cómo, desde nuestros contextos, tan desiguales, con tantos problemas, podemos generar condiciones para que las personas puedan imaginar y tratar de explorar esos otros modos de hacer tecnológico”. “Nuestra aspiración es hacer viable nuestras condiciones de existencia, defender la posibilidad de existir desde otro lugar, con otras tecnologías, desde otras lógicas”, enfatiza.
AymurAI: La prueba del éxito
En quechua aymuray significa “cosecha”, por eso fue el nombre que las desarrolladoras de Datagénero, impulsoras del proyecto, eligieron para una herramienta que pretende “cosechar datos de resoluciones judiciales y vinculado a datos de violencia de género”, como explica Yasmín Quiroga, cofundadora de la organización argentina. Como parte de la política de justicia abierta de un juzgado bonaerense hacía una década que, entre otras acciones, se estaba elaborando una base de datos abierta con perspectiva de género que en la actualidad cuenta con 11.000 filas (correspondientes a otras tantas resoluciones) y 64 columnas (correspondientes a otras tantas categorías de datos recogidas de cada una de ellas).
AymurAI llegó para automatizar ese proceso que las trabajadoras del juzgado realizaban de manera manual. Es una herramienta de inteligencia artificial, basada en un modelo de lenguaje pequeño (SML) que ha sido entrenada para realizar dos únicas tareas: anonimizar escrupulosamente los documentos, para evitar que se filtren datos sensibles; y extraer los datos deseados, con un interés en los que tienen que ver con la violencia de género, para poder fiscalizar la actividad del juzgado y habilitar una base de datos que pueda servir como insumo para cualquier iniciativa preocupada por este fenómeno. “Especialmente, pensando en tener información que permita proponer políticas públicas que ayuden a mejorar la vida de las personas”, precisa Quiroga.
“AymurAI que es una herramienta gratuita, de código abierto, es un desarrollo muy pequeño, no necesita una ‘nube’ para que trabaje”, explica la cofundadora de Datagénero
Algunas de las virtudes de AymurAI se derivan precisamente de las carencias a las que se enfrentaban sus impulsoras. Frente a la barrera económica que plantea la implantación de herramientas de inteligencia artificial en la administración para sistematizar y poder explotar la información, “AymurAI que es una herramienta gratuita, de código abierto, es un desarrollo muy pequeño, no necesita una ‘nube’ para que trabaje”, explica la cofundadora de Datagénero.
Precisamente, frente a las cautelas y la desconfianza por el uso de datos personales sensibles en infraestructuras de grandes empresas tecnológicas, AymurAI funciona completamente en local. “Nuestro enfoque es que, justamente, no toque la ‘nube’, sino que trabajé de manera local en las computadoras o servidores de los poderes judiciales por la temática sensible que trata. Si se utiliza una ‘nube’ privada, se le está dando datos a esa institución sobre un montón de personas de nuestra sociedad y, sobre todo, con algo extremadamente sensible”, comenta Yasmín Quiroga. Y frente a la necesidad de entender cómo funciona, es de código abierto: “Era muy importante que fuera auditable, que los poderes judiciales o el Estado, en general, pudiera conocer qué es lo que hay detrás de la herramienta”.
AymurAI representa, igualmente, un éxito en un modelo de colaboración entre poderes públicos y sociedad civil en la búsqueda de soluciones, que respondan a las necesidades de unos y otra y que aprovechen al máximo la experiencia conjunta.
A pesar de todas las condiciones que se exigían a la herramienta para garantizar que no fuese dañina, ser de código abierto, un modelo pequeño y que trabajase en local, por ejemplo, o que se desarrollase en un proceso de colaboración entre actores con experiencias muy diversas, AymurAI ha ido creciendo. Salió del aquel primer juzgado bonaerense en el que se inspiró la idea a otros en Argentina y ha saltado a Centroamérica y otros puntos del Cono Sur. Costa Rica, El Salvador, Honduras, Perú, Ecuador o Chile, son algunos de los países en los que Datagénero está trabajando en las adaptaciones necesarias de AymurAI. Al mismo tiempo, las desarrolladoras intentan incorporar una funcionalidad a petición de las propias usuarias: que AymurAI sea capaz de transcribir las audiencias, los juicios, de vídeo a texto, anonimizando los datos sensibles automáticamente y generando las bases de datos deseadas. “Cuando pensamos el nombre, queríamos que fuese algo que nos representase y que estuviese diciendo ‘acá también están sucediendo cosas vinculadas a la tecnología, a los desarrollos y a inteligencia artificial, tan bueno como lo que sucede en otros lugares’”, sentencia la cofundadora de Datagénero.
QuiterIA: la vigilancia feminista aumentada
“A diferencia de una gran empresa tecnológica, nuestro objetivo no es crear una inteligencia artificial de uso general, ni maximizar la eficiencia a cualquier precio. QuiterIA se desarrolló para responder a una necesidad concreta de la sociedad civil: hacer un seguimiento de la actividad legislativa relacionada con los derechos de las mujeres, las niñas y la población LGBTQIAPN+, ampliando la capacidad de incidencia política de las organizaciones, el seguimiento por parte de la prensa y la participación ciudadana de la población”, resume Maria Ísis, coordinadora de proyectos de datos del Instituto AzMina, la organización que promueve QuiterIA.
QuiterIA es una herramienta de inteligencia artificial impulsada en Brasil por el Instituto AzMina y diseñada para hacer un seguimiento de las propuestas legislativas con perspectiva de género que se presentan en las cámaras y que realiza una primera evaluación en relación con la defensa de los derechos de los colectivos a los que defiende niñas, mujeres, personas negras y comunidad LGBQTIAPN+. Un primer análisis que después es complementado y valorado por una investigadora.
“Todo el proceso de entrenamiento y validación cuenta con participación humana, y busca que la herramienta sea transparente, documentando sus criterios, limitaciones y formas de gobernanza”, sostiene Maria Ísis, del Instituto AzMina
Técnicamente, se ha desarrollado sobre modelos de lenguaje especializados en el ámbito legislativo brasileño, de la familia BERT. La elección de este tipo de modelo y no de un LLM fue “deliberada”, según explica Ísis y respondía “tanto a razones técnicas como políticas”. Para una herramienta con una tarea específica, esta solución técnica “ofrece un rendimiento acorde con la tarea, consume significativamente menos energía y recursos informáticos, y puede ejecutarse en nuestra propia infraestructura”, concreta la experta, además de que permite a las impulsoras reentrenar el modelo y mantener el control durante todo el ciclo de vida de la herramienta.
Maria Ísis destaca que “la toma de decisiones del desarrollo reúne a periodistas, investigadoras, científicas de datos, desarrolladoras y organizaciones feministas y de derechos humanos, que definen conjuntamente los criterios de clasificación, debaten casos complejos y revisan continuamente los resultados del modelo”. Pero también que “todo el proceso de entrenamiento y validación cuenta con participación humana, y busca que la herramienta sea transparente, documentando sus criterios, limitaciones y formas de gobernanza”, según la representante del Instituto AzMina. Esta última característica se debe a la percepción de la tecnología que Maria Ísis describe de manera clara: “Reconocemos que no existe una tecnología neutral: toda IA incorpora elecciones, valores y visiones del mundo. Y nuestro compromiso es hacer que esas decisiones sean explícitas y estén sujetas al escrutinio público”.
La perspectiva feminista que propicia prácticas poco habituales en el desarrollo comercial de tecnología, lo impregna todo. Dos ejemplos son la formulación de los resultados y la lógica colaborativa. “No clasificamos los proyectos únicamente como ‘favorables’ o ‘desfavorables’. Buscamos comprender cómo una propuesta puede afectar de forma desigual a diferentes grupos, teniendo en cuenta indicadores como el género, la raza, la orientación sexual, la identidad de género, el territorio, la discapacidad y otras dimensiones de vulnerabilidad”, explica la investigadora brasileña. Y, por otro lado, como la misma especialista señala: “Nuestros códigos son abiertos, están disponibles para su auditoría y también para su uso y adaptación por parte de otras organizaciones. Nuestra lógica no es la de la competencia, sino de colaboración y construcción conjunta de una visión colectiva de la sociedad”.
Sobre QuiterIA, explica Ísis: “Las etiquetas no han sido creadas únicamente por el equipo técnico. Se elaboran y revisan conjuntamente con organizaciones feministas y de derechos humanos que trabajan directamente en los temas objeto de seguimiento”
Uno de los pasos clave, de todo el proceso y una preocupación recurrente de los proyectos que apoya IA Feminista es el tratamiento de los datos. En este caso, la experiencia de QuiterIA representa claramente una voluntad de cambiar las prácticas. La centralidad de este proceso radica en que el etiquetado de datos “define los criterios políticos y analíticos de la herramienta” y, al mismo tiempo, “el principal reto no es solo desarrollar un buen algoritmo, sino construir una base de conocimiento sólida, transparente y alineada con los objetivos del proyecto”, en palabras de Maria Ísis.
“Las etiquetas no han sido creadas únicamente por el equipo técnico. Se elaboran y revisan conjuntamente con organizaciones feministas y de derechos humanos que trabajan directamente en los temas objeto de seguimiento”, explica la coordinadora de proyectos de datos del Instituto AzMina. Al mismo tiempo, este cuidado por el etiquetado permite desmitificar la inteligencia artificial: “Mostramos que su rendimiento depende del trabajo humano: de las personas que definen los criterios, analizan los proyectos de ley, justifican las clasificaciones y revisan continuamente los resultados”.
FurIA: IA feminista, diversa y comunitaria de y para la comunidad de trabajadoras sexuales trans
“Frente a sistemas que tienden a reproducir perspectivas hegemónicas y heteronormativas, invisibilizar lenguas y saberes locales y ofrecer interpretaciones condicionadas por sesgos estructurales, buscamos desarrollar una IA desde la diversidad de experiencias, identidades y contextos”, explica la equipa que impulsa FurIA, formada por integrantes de la Fundación Furia Trans, de Ecuador, y del Observatorio de Plataformas (ODP). FurIA
FurIA surge como respuesta a “la falta de herramientas tecnológicas seguras, accesibles y diseñadas desde las realidades de las personas trans y las trabajadoras sexuales”
La iniciativa surge como respuesta a “la falta de herramientas tecnológicas seguras, accesibles y diseñadas desde las realidades de las personas trans y las trabajadoras sexuales”, como explican sus impulsoras. Y al mismo tiempo, consideran que “su aportación a la sociedad ecuatoriana consiste en visibilizar violencias frecuentemente ignoradas, facilitar el acceso a redes de apoyo, preservar la memoria y el patrimonio lingüístico de la comunidad, y generar información que pueda contribuir a la defensa de derechos y a la formulación de políticas públicas más inclusivas”.
De nuevo, la equipa de FurIA tiene muy claro que “no sería coherente desarrollar una tecnología feminista, decolonial, puteril, diversa y comunitaria mediante los mismos modelos que concentran el poder tecnológico en unas pocas corporaciones y subordinan la innovación al beneficio económico” y por ello su apuesta se orienta a la construcción de un modelo diferente. “FurIA propone”, explican las componentes de la equipa, “cambiar esta lógica mediante un desarrollo comunitario. Es la propia comunidad la que participa en la definición de los problemas, decide qué datos pueden alimentar los algoritmos, establece cómo deben utilizarse y determina quién puede acceder a los conocimientos producidos. De esta manera, la comunidad recupera su papel como productora y validadora de conocimiento, en lugar de ser tratada únicamente como una fuente de datos”.
Las integrantes de las dos organizaciones que impulsan la plataforma reconocen que el apoyo de la Red Feminista de Investigación en IA para América Latina y el Caribe (IA Feminista) ha permitido emplear metodologías novedosas en el desarrollo de herramientas tecnológicas. Por un lado, la financiación ha hecho posible un “proceso original y participativo de recopilación de datos mediante talleres facilitados por las compañeras trans trabajadoras sexuales ecuatorianas de la Fundación Furia Trans”. Pero, al mismo tiempo, el acompañamiento de la Red ha permitido “concebir, diseñar y poner en marcha el proyecto de acuerdo con principios feministas, decoloniales y comunitarios” y ha conectado al proyecto con otras iniciativas y comunidades de América Latina.
“En América Latina podemos imaginar, experimentar y construir tecnologías propias desde perspectivas feministas, decoloniales y comunitarias”
Para la equipa de furIA su existencia muestra que “el uso de herramientas corporativas no es inevitable ni constituye la única vía posible”. Estas tecnólogas y activistas extraen un aprendizaje y un ejemplo claro: “En América Latina no tenemos por qué limitarnos a adoptar soluciones corporativas concebidas desde otros contextos, intereses y realidades. Podemos imaginar, experimentar y construir tecnologías propias desde perspectivas feministas, decoloniales y comunitarias”. Finalmente, la sentencia de su recorrido que es todavía incipiente es contundente: “El objetivo último no es únicamente desarrollar una IA diferente, sino contribuir a una sociedad en la que todas las personas y colectividades tengan voz, poder de decisión y la posibilidad de vivir plenamente”.
Energía nuclear
Grandes tecnológicas, grandes mentiras II
Para comentar en este artículo tienes que estar registrado. Si ya tienes una cuenta, inicia sesión. Si todavía no la tienes, puedes crear una aquí en dos minutos sin coste ni números de cuenta.
Si eres socio/a puedes comentar sin moderación previa y valorar comentarios. El resto de comentarios son moderados y aprobados por la Redacción de El Salto. Para comentar sin moderación, ¡suscríbete!