Policía
Policía predictiva: cuando el que decide es un algoritmo

El uso de la inteligencia artificial en la gestión de la seguridad refuerza los sesgos racistas y clasistas que operan en los cuerpos de policía
Oracle represión china
22 jun 2022 06:35

Luis y Leonor, 'vecinos de toda la vida' en el madrileño Orcasitas, creen que hay 'muy poca policía' en su barrio y afirman que si su presencia se incrementara, crecería la 'sensación de seguridad' en las calles. Mientras que Diego, vecino joven del mismo barrio, me asegura con naturalidad, mientras empuja el carrito de su bebé, conocer bien a todos los policías que patrullan en la zona, pues 'todas las semanas' en algún u otro momento es sometido a un 'control rutinario'. Tampoco él tiene ninguna mala palabra para la policía pero considera que su presencia es ya 'más que suficiente'.

Si desde la perspectiva ciudadana resulta difícil esclarecer si hay mucho o poco trabajo policial en las calles, no es aventurado suponer que los propios cuerpos de policía también adolecen de tales discrepancias. Frente a ello, son numerosos los cuerpos que en la actualidad mediante datos, referencias espacio-temporales e inteligencia artificial (IA) aspiran a anticiparse al crimen y, así, optimizar sus recursos.

No responder, sino 'anticiparse a que se produzcan los hechos', parece ser el actual adagio policial

El patrullaje es un ámbito policial especialmente visible y su tendencia hacia la gestión algorítmica es tan solo un síntoma de un cambio mucho más sustancial. Si la policía ha actuado históricamente de modo reactivo, explica en una conversación Santiago Ruiz Chasco, profesor de sociología en la Universidad Pablo de Olavide, debemos constatar que se ha producido un 'giro preventivo'. No responder, sino 'anticiparse a que se produzcan los hechos', parece ser el actual adagio policial.

Soluciones tecnológicas a problemas sociales

El paradigma preventivo incluye frentes tan diversos como el propio planeamiento urbano —buena iluminación, espacios abiertos, arquitectura hostil para los sintecho o los que deseen reunirse en la calle, la disuasión mediante cámaras de seguridad—, hasta la persecución de hechos no recogidos en el código penal —ruido, consumo de alcohol y drogas, personas sin papeles— pero considerados como precursores de actos criminales. A estas prácticas largamente implementadas debemos añadir un creciente entusiasmo tecno-solucionista: los problemas de seguridad son vistos como fallos de un sistema necesitado de optimizaciones.

Tecnología
Minority Report en las policías europeas: llegan los sistemas de predicción de delitos

La comisaria europea de Derechos Humanos alerta del uso de algoritmos en sistemas policiales y judiciales de la Unión que atentan contra los derechos ciudadanos.

Los cuerpos de policía españoles ya emplean diversas herramientas predictivas basadas en la inteligencia artificial. Así por ejemplo, el sistema VioGén, donde se recogen y administran las denuncias por violencia de género, incluye desde 2019 predicciones proporcionadas por dos algoritmos: uno estima el riesgo de reincidencia y otro el riesgo de que los hechos denunciados puedan terminar en feminicidio.

La escala de riesgo mortal se ha creado mediante una muestra de 2.159 casos de violencia de género, de los cuales el 7,4 % fueron homicidios. Según el nivel de riesgo calculado por los algoritmos, el protocolo indica las medidas a seguir en protección policial. Pero hasta la fecha las autoridades no han permitido ninguna evaluación independiente del sistema. Un estudio realizado por la Fundación Éticas mediante entrevistas a mujeres que presentaron denuncias por violencia de género revela, sin embargo, entre otros problemas, que VioGén subestima la violencia no física y por ello, presumiblemente, no aprecia el riesgo real en muchos casos.

Asimismo sin control ni auditorías externas, la Policía Nacional dispone desde 2018 en todas sus comisarías de VeriPol, cuya función es determinar la veracidad de las denuncias por robo. Este 'polígrafo' analiza el lenguaje utilizado en la descripción proporcionada por el denunciante. Una denuncia falsa tiende a basarse más en los objetos sustraídos y su valor eludiendo los detalles de los hechos supuestamente acaecidos.

Además, el modus operandi del delito así como la morfosintaxis de la descripción difieren entre una denuncia falsa y una verdadera, según explica el Ministerio del Interior en una nota. Impulsado por el inspector de la Policía Nacional y matemático Miguel Camacho Collados, un algoritmo entrenado con 1.122 denuncias por robo definió estos patrones. Tras constatar una 'precisión superior al 90%' en su fase piloto en Murcia y Málaga se decidió implantar el sistema en todo el territorio.

El entrenamiento del algoritmo no tuvo en consideración las variedades (socio)lingüísticas, pudiendo así desfavorecer, por ejemplo, a los hablantes no-nativos

La alta eficacia de VeriPol ha sido cuestionada, sin embargo, por numerosos expertos que, además, señalan los problemas éticos innatos a la herramienta. Un fallo patente, según explica AlgorithmWatch, es que el algoritmo tiende a magnificar el valor de cualquier coincidencia. Así, por ejemplo, el uso de la palabra 'navaja' puede ser suficiente para que una denuncia sea considerada falsa. Además, el entrenamiento del algoritmo no tuvo en consideración las variedades (socio)lingüísticas, pudiendo así desfavorecer, por ejemplo, a los hablantes no-nativos. Pero a pesar de su cuestionamiento, así como de la fría acogida por parte del propio cuerpo de policía, el Ministerio del Interior desea ampliar la tecnología a otros tipos de crimen.

El nombre de Miguel Camacho también se encuentra detrás de la aplicación desarrollada en 2015 para la Policía Nacional que predice la incidencia de delitos. En base a 'patrones de criminalidad espacio-temporales', la herramienta realiza un pronóstico gracias al cual la policía puede optimizar la distribución de las patrullas disponibles. La virtud de la herramienta, según sus creadores, es que define hot spots: puntos calientes donde la policía debe concentrar sus recursos.

Tanto Camacho, que alega 'mantener un perfil muy bajo', como el Ministerio del Interior han declinado aclarar el destino del programa de patrullaje predictivo. Una tecnología equivalente es asimismo ofrecida por la empresa EuroCop en sus sistemas de gestión para policía municipal. Según la propia empresa, EuroCop presta sus servicios a más de 50 municipios españoles, entre los cuales, de acuerdo con contratos públicos consultables, se encuentran ciudades como Leganés, Alcorcón o Zamora.

Ni la empresa ni los dichos ayuntamientos han querido esclarecer si los cuerpos hacen uso de herramientas de predicción. Pero en una respuesta por email, EuroCop sí hace hincapié en el diseño de su sistema para aunar cuanta información esté disponible —'multas, atestados, videovigilancia...'— y así lograr una mayor eficiencia en la gestión de los recursos policiales.

La eficiencia por encima de los derechos

Más que cualquier objetivo social, es la eficiencia el motivo al que tanto las administraciones como los creadores de los sistemas aluden una y otra vez. Así, por ejemplo, en un documento interno del Ayuntamiento de Madrid donde se anuncia el desarrollo de aplicaciones para gestionar los recursos policiales, el autor se lamenta del retraso que la administración lleva respecto al mundo empresarial en la 'optimización de los procesos y riesgos'. Pero anteponiendo la economía de sus medios a la repercusión social de sus acciones, los cuerpos de policía incurren en una peligrosa deriva sobre la que los expertos advierten y ante la cual los legisladores pueden tener la última palabra.

No solo debemos considerar la 'proporcionalidad y necesidad' de estas tecnologías desde un punto de vista jurídico, señala Ramón Suárez, investigador en el Observatorio de Bioética y Derecho de la Universidad de Barcelona, sino que debemos ante todo 'reflexionar sobre qué tipo de sociedad estamos construyendo y si realmente estamos creando un ambiente propicio para la inteligencia artificial'. Suárez cuestiona la eficacia de herramientas como VioGén y VeriPol y denuncia su opacidad y falta de control externo. Su preocupación es que si el estado confía el cuidado de asuntos de orden y seguridad a algoritmos que a su vez carecen de vigilancia, decaigamos en una 'pseudo-seguridad' donde 'la libertad, la igualdad y el libre desarrollo de la personalidad' se vean vulnerados.

Videovigilancia en China
Las empresas chinas lideran la distribución de herramientas de inteligencia artificial alrededor del mundo.

El Parlamento Europeo sentó, sin embargo, en otoño del año pasado un importante precedente al aprobar una resolución donde se exponen los riesgos de la inteligencia artificial en el ámbito penal y policial demandando amplias garantías para su uso. El texto no es vinculante, pero debe tenerse en cuenta para la llamada Artificial Intelligence Act, la regulación que se negocia en estos momentos y que busca crear un marco legal común para la Unión Europea en asuntos de IA.

El texto de la resolución parte de la premisa que la IA nunca debe 'considerarse un fin en sí misma, sino un instrumento al servicio de las personas'. Asimismo se recuerda que 'las promesas de que la IA daría lugar a decisiones más objetivas [...] no siempre se cumplen'. En cuanto al uso de herramientas predictivas por parte de la policía, tales como VioGén y el patrullaje predictivo, el texto advierte de que éstas 'pueden tener grados enormemente variables de fiabilidad y precisión y de repercusión en la protección de los derechos fundamentales'. Entre los principales riesgos de estos sistemas, el texto señala la 'amplificación y reproducción de sesgos existentes' así como le tendencia a que 'errores inherentes en el algoritmo' se vean 'reforzados por bucles de retroalimentación'.

Ante las incertidumbres que la IA acarrea, la resolución insta a que las garantías legales prevalezcan y no se sacrifiquen en aras de una securización tecnológica. Así, pues, el texto exige que toda 'herramienta de IA desarrollada o utilizada por las autoridades policiales o judiciales deba, como mínimo, ser segura, robusta, fiable' y someterse a los principios de 'minimización de datos, rendición de cuentas, transparencia, no discriminación y explicabilidad'.

Es en los asuntos de seguridad donde más a menudo se manifiesta la impotencia de la ley frente al estado

Sin embargo, la búsqueda de eficiencia policial, la ingenua creencia en la fiabilidad de la IA que las autoridades adoptan, en combinación con la opacidad y falta de control que caracterizan los asuntos de seguridad, conllevan a que la realidad de las herramientas policiales de IA hasta la fecha haya transcurrido en claro conflicto con las garantías aquí demandadas.

En España, una proposición no de ley presentada por Unidas Podemos y aprobada en el Congreso en noviembre del año pasado, insta al Gobierno, en línea con la legislación europea en desarrollo, a establecer una normativa que garantice la proporcionalidad, la transparencia y el control de las herramientas policiales de IA. Pero a pesar de las intenciones garantistas que han mostrado los parlamentos, no hay certeza de que éstas prosperen. Pues es en los asuntos de seguridad donde más a menudo se manifiesta la impotencia de la ley frente al estado.

La denuncia de los abusos de la gestión algorítmica de la seguridad

Tristemente, no son el control y la primacía del derecho lo que generalmente frenan a las herramientas de vigilancia, sino el cúmulo de abusos y arbitrariedades que junto a la indignación pública lleva a ciertos gobiernos a abandonarlas. Así, la policía de Los Ángeles, una de las ciudades pioneras en implementar el patrullaje predictivo, prescindió en 2020 del sistema Pred-Pol, cuyo uso está ampliamente extendido en los departamentos de policía estadounidenses. Su nula eficacia a la hora de disminuir la criminalidad, además del perfilado racial en que incurre, ha sido repetidamente denunciado. Activistas y expertos coinciden en que son las minorías latinas y afroamericanas las que más sufren el señalamiento de las herramientas que buscan predecir el crimen.

Inteligencia artificial
Algoritmos y violencia estructural Mirando a la inteligencia artificial desde el otro lado
¿Qué ocurre si miramos a la tecnología desde el otro lado, es decir, desde el punto de vista de las personas marginadas por la sociedad?

Pero es en Europa donde se ha producido uno de los atropellos más sangrantes de los que tenemos constancia. En los Países Bajos se empleó hasta 2019 un algoritmo que debía predecir el riesgo de fraude fiscal. Mediante factores que incluían el nivel de ingresos o el origen étnico, el algoritmo aprendió a identificar a familias con 'ingresos bajos' o de 'origen no-occidental' como potenciales defraudores del programa de ayudas para guardería. Así se estima que más de 26.000 familias fueron injustamente señaladas y sometidas a la maquinaria de hacienda mediante multas y embargos que en la mayoría de los casos las sumió en la ruina.

Además, debido a la situación de precariedad resultante, el estado retiró la custodia a 1150 niños de estas familias, los cuáles todavía no han sido reunidos con sus padres. La magnitud de esta injusticia se ha visto acrecentada si cabe por el hecho de que hasta que gracias a esfuerzos particulares se reveló el entramado, los afectados nunca entendieron por qué se les perseguía. Fue la crueldad de un algoritmo invisible bajo la cínica connivencia de los gobernantes la que posibilitó todo este daño.

Transparencia, control y evaluación independientes son condiciones necesarias para proteger a los ciudadanos del poder y arbitrariedades de la IA. Pero Ramón Suárez advierte de que ante todo debemos evitar su 'generalización' y exigir que el uso de estas herramientas sea 'puntual y subsidiario a la acción humana', la cual debe prevalecer en el ámbito penal y de seguridad.

Policía
Los ecos de ‘Defund the Police’ ¿Reforma o decrecimiento policial?
La campaña ‘Defund the Police’ cuestiona las reformas policiales e interpela a los movimientos por la justicia social en España.

Asimismo, debemos observar la realidad de fondo y preguntarnos si la respuesta policial es la más adecuada en todo caso. Santiago Ruiz señala que mientras 'se ha ido reduciendo el número de trabajadores sociales' la labor de éstos 'se ha ido sustituyendo por la policía'. Así se da una respuesta 'unidimensional' a una realidad 'multidimensional y compleja'. Problemas cuyo origen reside en la desigualdad, la discriminación o la salud son encarados como cuestiones de seguridad recibiendo una respuesta punitiva. Pero la historia nos muestra que la persecución y el castigo nunca han acabado con estos problemas sino que acaso los han recrudecido favoreciendo, asimismo, el clima social propicio para el auge de la extrema derecha.

Sobre o blog
Metropolice pretende ser un pequeño medio de difusión de problemáticas asociadas a los dispositivos de control policial, el securitarismo y las instituciones carcelarias.
Ver todas as entradas

Relacionadas

Securitización
La despolitización de la inseguridad y la sanción pecuniaria de la desigualdad
Los partidos ya no usan electoralmente la inseguridad ciudadana (salvo Vox), pero persisten los efectos de la generalización de los discursos de ley y orden de décadas pasadas
Seguridad privada
Contraespionaje Génesis del contraespionaje vasco: la consultora de ex altos cargos de la Ertzaintza que protegía a multimillonarios
Esta es la historia de PCI Security Doctors, que colaboró con servicios de inteligencia de varios países, fue contratada por un multimillonario vasco de la lista Forbes para servicios de contraespionaje industrial, lideró la seguridad del sector fotovoltaico y también se hizo con contratos de Osakidetza.
Sobre o blog
Metropolice pretende ser un pequeño medio de difusión de problemáticas asociadas a los dispositivos de control policial, el securitarismo y las instituciones carcelarias.
Ver todas as entradas

Destacadas

Deportes
Deportes El movimiento antiolímpico se organiza en París
Reunidos en la capital francesa a finales de mayo, activistas contra los Juegos de Londres, Río de Janeiro, Tokio, Hamburgo, París, Los Ángeles y Pirineos-Barcelona expusieron los abusos y derivas en materia de seguridad, vivienda, ecología y desperdicio de dinero público que suponen los Juegos modernos.
Carta desde Europa
Medios de destrucción
Por muy terrible que sea para el pueblo ucraniano, la guerra de Ucrania no es más que una cuestión secundaria inserta en una historia de dimensiones mucho mayores.
Laboral
Perspectiva de género El Supremo fija que las madres se beneficien de 112 días de cotización por parto también para la prejubilación
La sentencia insiste en la necesidad de aplicar la perspectiva de género y toma como guía la Ley de Igualdad. Las llamadas “cotizaciones ficticias” están contempladas para el acceso a pensiones contributivas, pero no para el subsidio previo.
Sanidad pública
Colapso sanitario Seis días esperando cama en las Urgencias de La Paz
Salas con capacidad para 18 camas que albergan a 45 pacientes y enfermeras con puestos asignados en los pasillos. Trabajadores y usuarios denuncian el “colapso” de este gran hospital madrileño y apuntan al cierre de las urgencias de primaria y al despido de los refuerzos covid como principales causas.
Rif
Armas químicas en el Rif, olvido y justicia
Un siglo después de la barbarie cometida contra la población civil del Rif España sin reconocer su responsabilidad, lejos de cualquier política de reparación.
Extrema derecha
Desregulación ambiental Naomi Klein: Estados Unidos está en medio de un “golpe de estado judicial”
“El golpe judicial continuo que viene de este tribunal no ha terminado en absoluto”, advirtió la autora de “La doctrina del shock”.

Últimas

Violencia policial
Movimientos sociales Detienen a un vecino de Sevilla en una manifestación contra los cortes de luz
La policía detuvo ayer lunes en Sevilla a Juan G., un vecino que se manifestaba contra los recortes de la luz. Este 5 de julio se celebra una concentración que pide su liberación inmediata.
Pensamiento
El hilo invisible de Bookchin
El pensamiento de Murray Bookchin sigue siendo actual y necesario. Por eso la reedición por Capitán Swing de su obra clave, ‘Ecología de la libertad’, es una gran noticia.
Accidentes laborales
Seguridad laboral Un empresario que intentó que un trabajador sin contrato ocultara su accidente laboral grave es detenido en Alacant
El trabajador accidentado accedió a dar en el hospital la versión propuesta por su jefe de que se trataba de “un accidente doméstico” cuando este le dijo que podía tener problemas con extranjería si decía que fue en el trabajo. Hacía jornadas de más de 9 horas diarias por menos de 800 euros sin ningún tipo de prevención de riesgos laborales, lo que derivó en una caída de tres metros de altura con fractura cerebral y lesión medular.
Sanidad pública
Sanidad Pública Madrid gasta 3.000 millones de euros menos que el resto del Estado en Sanidad
Madrid es la comunidad que menos gasta en Sanidad, un 3,7% con respecto a su PIB. Además, es la penúltima que menos dinero destina por habitante, 1.340 euros. Así se indica en un nuevo informe de la Federación de Asociaciones para la Defensa de la Sanidad Pública (FADSP) y el sindicato CC OO.

Recomendadas

Presupuestos Generales del Estado
Crisis económica La reforma fiscal “no puede esperar más”, dice Unidas Podemos
La única forma de “equilibrar la balanza fiscal” es haciendo que “los que más tienen paguen lo que les corresponde”, dice la secretaria general de Unidas Podemos, Ione Belarra, en una declaración en el Secretariado del partido.
Trabajo sexual
Derechos Trabajadoras sexuales ante las leyes abolicionistas: “Necesitamos derechos tanto si queremos abandonar como si queremos quedarnos”
El estigma y lo que llaman “la industria del rescate” son algunos de los problemas que señalan Séfora Jiménez, María José Barrera, Ninfa y Verónika Wolf, que reclaman superar la falsa dicotomía entre abolición o regulación de la prostitución. Temen la propuesta de ley abolicionista del PSOE, pero advierten de que ya existen mecanismos para criminalizarlas.
Memoria histórica
Fosas Comunes Las ‘costras’ de la memoria española que hurga una periodista polaca
Katarzyna Kobylarczyk publica un libro donde recoge historias de las fosas comunes de la Guerra Civil y la represión franquista. Aunque en un principio estaba pensado para público polaco, su alta calidad y profundidad de enfoque ha hecho que sea traducido a español y a ucraniano.
Leyes Mordaza
Libertades La reforma a ley Mordaza, esa promesa de campaña que el PSOE se resiste a cumplir
Esta semana ha sido el séptimo aniversario de la entrada en vigor de la ley de Seguridad Ciudadana aprobada por el PP cuando tenía mayoría absoluta. Su modificación es hasta ahora el compromiso que más está costando cumplir al Gobierno de coalición. Presión de los colectivos sociales y partidos aliados para una reforma ambiciosa que Sánchez parece no desear. Por qué representa un déficit democrático para una España del siglo XXI.
Militarismo
¿Las chicas son guerreras?
Para atraer el talento femenino a la causa otanista, sus portavoces han tirado del esencialismo de género más primitivo, basado en la idea de que las mujeres somos pacíficas por naturaleza.
Derecho a la vivienda
Vivienda Barcelona, se alquila temporalmente
Los alquileres temporales proliferan en la capital catalana y expulsan a sus vecinas de los barrios céntricos. La escasa regulación de esta modalidad contractual, que no precisa de licencia turística y genera elevados honorarios para las agencias inmobiliarias, se ha convertido en el último “agujero” legal que eleva el precio de la vivienda.