Policía
Policía predictiva: cuando el que decide es un algoritmo

Luis y Leonor, 'vecinos de toda la vida' en el madrileño Orcasitas, creen que hay 'muy poca policía' en su barrio y afirman que si su presencia se incrementara, crecería la 'sensación de seguridad' en las calles. Mientras que Diego, vecino joven del mismo barrio, me asegura con naturalidad, mientras empuja el carrito de su bebé, conocer bien a todos los policías que patrullan en la zona, pues 'todas las semanas' en algún u otro momento es sometido a un 'control rutinario'. Tampoco él tiene ninguna mala palabra para la policía pero considera que su presencia es ya 'más que suficiente'.

Si desde la perspectiva ciudadana resulta difícil esclarecer si hay mucho o poco trabajo policial en las calles, no es aventurado suponer que los propios cuerpos de policía también adolecen de tales discrepancias. Frente a ello, son numerosos los cuerpos que en la actualidad mediante datos, referencias espacio-temporales e inteligencia artificial (IA) aspiran a anticiparse al crimen y, así, optimizar sus recursos.

No responder, sino 'anticiparse a que se produzcan los hechos', parece ser el actual adagio policial

El patrullaje es un ámbito policial especialmente visible y su tendencia hacia la gestión algorítmica es tan solo un síntoma de un cambio mucho más sustancial. Si la policía ha actuado históricamente de modo reactivo, explica en una conversación Santiago Ruiz Chasco, profesor de sociología en la Universidad Pablo de Olavide, debemos constatar que se ha producido un 'giro preventivo'. No responder, sino 'anticiparse a que se produzcan los hechos', parece ser el actual adagio policial.

Soluciones tecnológicas a problemas sociales

El paradigma preventivo incluye frentes tan diversos como el propio planeamiento urbano —buena iluminación, espacios abiertos, arquitectura hostil para los sintecho o los que deseen reunirse en la calle, la disuasión mediante cámaras de seguridad—, hasta la persecución de hechos no recogidos en el código penal —ruido, consumo de alcohol y drogas, personas sin papeles— pero considerados como precursores de actos criminales. A estas prácticas largamente implementadas debemos añadir un creciente entusiasmo tecno-solucionista: los problemas de seguridad son vistos como fallos de un sistema necesitado de optimizaciones.

Minority Report en las policías europeas: llegan los sistemas de predicción de delitos

Ter García

3

Tecnología

Minority Report en las policías europeas: llegan los sistemas de predicción de delitos

Ter García

3

La comisaria europea de Derechos Humanos alerta del uso de algoritmos en sistemas policiales y judiciales de la Unión que atentan contra los derechos ciudadanos.

Los cuerpos de policía españoles ya emplean diversas herramientas predictivas basadas en la inteligencia artificial. Así por ejemplo, el sistema VioGén, donde se recogen y administran las denuncias por violencia de género, incluye desde 2019 predicciones proporcionadas por dos algoritmos: uno estima el riesgo de reincidencia y otro el riesgo de que los hechos denunciados puedan terminar en feminicidio.

La escala de riesgo mortal se ha creado mediante una muestra de 2.159 casos de violencia de género, de los cuales el 7,4 % fueron homicidios. Según el nivel de riesgo calculado por los algoritmos, el protocolo indica las medidas a seguir en protección policial. Pero hasta la fecha las autoridades no han permitido ninguna evaluación independiente del sistema. Un estudio realizado por la Fundación Éticas mediante entrevistas a mujeres que presentaron denuncias por violencia de género revela, sin embargo, entre otros problemas, que VioGén subestima la violencia no física y por ello, presumiblemente, no aprecia el riesgo real en muchos casos.

Asimismo sin control ni auditorías externas, la Policía Nacional dispone desde 2018 en todas sus comisarías de VeriPol, cuya función es determinar la veracidad de las denuncias por robo. Este 'polígrafo' analiza el lenguaje utilizado en la descripción proporcionada por el denunciante. Una denuncia falsa tiende a basarse más en los objetos sustraídos y su valor eludiendo los detalles de los hechos supuestamente acaecidos.

Además, el modus operandi del delito así como la morfosintaxis de la descripción difieren entre una denuncia falsa y una verdadera, según explica el Ministerio del Interior en una nota. Impulsado por el inspector de la Policía Nacional y matemático Miguel Camacho Collados, un algoritmo entrenado con 1.122 denuncias por robo definió estos patrones. Tras constatar una 'precisión superior al 90%' en su fase piloto en Murcia y Málaga se decidió implantar el sistema en todo el territorio.

El entrenamiento del algoritmo no tuvo en consideración las variedades (socio)lingüísticas, pudiendo así desfavorecer, por ejemplo, a los hablantes no-nativos

La alta eficacia de VeriPol ha sido cuestionada, sin embargo, por numerosos expertos que, además, señalan los problemas éticos innatos a la herramienta. Un fallo patente, según explica AlgorithmWatch, es que el algoritmo tiende a magnificar el valor de cualquier coincidencia. Así, por ejemplo, el uso de la palabra 'navaja' puede ser suficiente para que una denuncia sea considerada falsa. Además, el entrenamiento del algoritmo no tuvo en consideración las variedades (socio)lingüísticas, pudiendo así desfavorecer, por ejemplo, a los hablantes no-nativos. Pero a pesar de su cuestionamiento, así como de la fría acogida por parte del propio cuerpo de policía, el Ministerio del Interior desea ampliar la tecnología a otros tipos de crimen.

El nombre de Miguel Camacho también se encuentra detrás de la aplicación desarrollada en 2015 para la Policía Nacional que predice la incidencia de delitos. En base a 'patrones de criminalidad espacio-temporales', la herramienta realiza un pronóstico gracias al cual la policía puede optimizar la distribución de las patrullas disponibles. La virtud de la herramienta, según sus creadores, es que define hot spots: puntos calientes donde la policía debe concentrar sus recursos.

Solucionismo punitivista, el clima policial perfecto para Vox

Ekaitz Cancela Aitor Jiménez

2

Policía

Solucionismo punitivista, el clima policial perfecto para Vox

Ekaitz Cancela ,  Aitor Jiménez

2

Las tecnologías son dispositivos culturales, fuentes de poder blando e inteligente, que permiten un Estado represivo perpetuar una “economía de libre mercado”

Software El Estado policial español 2.0: tecnologías privadas para vigilar a los ciudadanos

Tanto Camacho, que alega 'mantener un perfil muy bajo', como el Ministerio del Interior han declinado aclarar el destino del programa de patrullaje predictivo. Una tecnología equivalente es asimismo ofrecida por la empresa EuroCop en sus sistemas de gestión para policía municipal. Según la propia empresa, EuroCop presta sus servicios a más de 50 municipios españoles, entre los cuales, de acuerdo con contratos públicos consultables, se encuentran ciudades como Leganés, Alcorcón o Zamora.

Ni la empresa ni los dichos ayuntamientos han querido esclarecer si los cuerpos hacen uso de herramientas de predicción. Pero en una respuesta por email, EuroCop sí hace hincapié en el diseño de su sistema para aunar cuanta información esté disponible —'multas, atestados, videovigilancia...'— y así lograr una mayor eficiencia en la gestión de los recursos policiales.

La eficiencia por encima de los derechos

Más que cualquier objetivo social, es la eficiencia el motivo al que tanto las administraciones como los creadores de los sistemas aluden una y otra vez. Así, por ejemplo, en un documento interno del Ayuntamiento de Madrid donde se anuncia el desarrollo de aplicaciones para gestionar los recursos policiales, el autor se lamenta del retraso que la administración lleva respecto al mundo empresarial en la 'optimización de los procesos y riesgos'. Pero anteponiendo la economía de sus medios a la repercusión social de sus acciones, los cuerpos de policía incurren en una peligrosa deriva sobre la que los expertos advierten y ante la cual los legisladores pueden tener la última palabra.

No solo debemos considerar la 'proporcionalidad y necesidad' de estas tecnologías desde un punto de vista jurídico, señala Ramón Suárez, investigador en el Observatorio de Bioética y Derecho de la Universidad de Barcelona, sino que debemos ante todo 'reflexionar sobre qué tipo de sociedad estamos construyendo y si realmente estamos creando un ambiente propicio para la inteligencia artificial'. Suárez cuestiona la eficacia de herramientas como VioGén y VeriPol y denuncia su opacidad y falta de control externo. Su preocupación es que si el estado confía el cuidado de asuntos de orden y seguridad a algoritmos que a su vez carecen de vigilancia, decaigamos en una 'pseudo-seguridad' donde 'la libertad, la igualdad y el libre desarrollo de la personalidad' se vean vulnerados.

El Parlamento Europeo sentó, sin embargo, en otoño del año pasado un importante precedente al aprobar una resolución donde se exponen los riesgos de la inteligencia artificial en el ámbito penal y policial demandando amplias garantías para su uso. El texto no es vinculante, pero debe tenerse en cuenta para la llamada Artificial Intelligence Act, la regulación que se negocia en estos momentos y que busca crear un marco legal común para la Unión Europea en asuntos de IA.

El texto de la resolución parte de la premisa que la IA nunca debe 'considerarse un fin en sí misma, sino un instrumento al servicio de las personas'. Asimismo se recuerda que 'las promesas de que la IA daría lugar a decisiones más objetivas [...] no siempre se cumplen'. En cuanto al uso de herramientas predictivas por parte de la policía, tales como VioGén y el patrullaje predictivo, el texto advierte de que éstas 'pueden tener grados enormemente variables de fiabilidad y precisión y de repercusión en la protección de los derechos fundamentales'. Entre los principales riesgos de estos sistemas, el texto señala la 'amplificación y reproducción de sesgos existentes' así como le tendencia a que 'errores inherentes en el algoritmo' se vean 'reforzados por bucles de retroalimentación'.

El Estado policial español 2.0: tecnologías privadas para vigilar a los ciudadanos

Ekaitz Cancela Aitor Jiménez

11

Tecnología

Software El Estado policial español 2.0: tecnologías privadas para vigilar a los ciudadanos

Ekaitz Cancela ,  Aitor Jiménez

11

La empresa Eurocop Security Systems ha ganado más de 100 contratos públicos para proporcionar soluciones de automatización destinadas a “aumentar la eficacia de la policía”

Minority Report en las policías europeas: llegan los sistemas de predicción de delitos

Ante las incertidumbres que la IA acarrea, la resolución insta a que las garantías legales prevalezcan y no se sacrifiquen en aras de una securización tecnológica. Así, pues, el texto exige que toda 'herramienta de IA desarrollada o utilizada por las autoridades policiales o judiciales deba, como mínimo, ser segura, robusta, fiable' y someterse a los principios de 'minimización de datos, rendición de cuentas, transparencia, no discriminación y explicabilidad'.

Es en los asuntos de seguridad donde más a menudo se manifiesta la impotencia de la ley frente al estado

Sin embargo, la búsqueda de eficiencia policial, la ingenua creencia en la fiabilidad de la IA que las autoridades adoptan, en combinación con la opacidad y falta de control que caracterizan los asuntos de seguridad, conllevan a que la realidad de las herramientas policiales de IA hasta la fecha haya transcurrido en claro conflicto con las garantías aquí demandadas.

En España, una proposición no de ley presentada por Unidas Podemos y aprobada en el Congreso en noviembre del año pasado, insta al Gobierno, en línea con la legislación europea en desarrollo, a establecer una normativa que garantice la proporcionalidad, la transparencia y el control de las herramientas policiales de IA. Pero a pesar de las intenciones garantistas que han mostrado los parlamentos, no hay certeza de que éstas prosperen. Pues es en los asuntos de seguridad donde más a menudo se manifiesta la impotencia de la ley frente al estado.

La denuncia de los abusos de la gestión algorítmica de la seguridad

Tristemente, no son el control y la primacía del derecho lo que generalmente frenan a las herramientas de vigilancia, sino el cúmulo de abusos y arbitrariedades que junto a la indignación pública lleva a ciertos gobiernos a abandonarlas. Así, la policía de Los Ángeles, una de las ciudades pioneras en implementar el patrullaje predictivo, prescindió en 2020 del sistema Pred-Pol, cuyo uso está ampliamente extendido en los departamentos de policía estadounidenses. Su nula eficacia a la hora de disminuir la criminalidad, además del perfilado racial en que incurre, ha sido repetidamente denunciado. Activistas y expertos coinciden en que son las minorías latinas y afroamericanas las que más sufren el señalamiento de las herramientas que buscan predecir el crimen.

La Paradoja de Jevons

Mirando a la inteligencia artificial desde el otro lado

La paradoja de Jevons

1

Inteligencia artificial

Algoritmos y violencia estructural Mirando a la inteligencia artificial desde el otro lado

La paradoja de Jevons

1

¿Qué ocurre si miramos a la tecnología desde el otro lado, es decir, desde el punto de vista de las personas marginadas por la sociedad?

Pero es en Europa donde se ha producido uno de los atropellos más sangrantes de los que tenemos constancia. En los Países Bajos se empleó hasta 2019 un algoritmo que debía predecir el riesgo de fraude fiscal. Mediante factores que incluían el nivel de ingresos o el origen étnico, el algoritmo aprendió a identificar a familias con 'ingresos bajos' o de 'origen no-occidental' como potenciales defraudores del programa de ayudas para guardería. Así se estima que más de 26.000 familias fueron injustamente señaladas y sometidas a la maquinaria de hacienda mediante multas y embargos que en la mayoría de los casos las sumió en la ruina.

Además, debido a la situación de precariedad resultante, el estado retiró la custodia a 1150 niños de estas familias, los cuáles todavía no han sido reunidos con sus padres. La magnitud de esta injusticia se ha visto acrecentada si cabe por el hecho de que hasta que gracias a esfuerzos particulares se reveló el entramado, los afectados nunca entendieron por qué se les perseguía. Fue la crueldad de un algoritmo invisible bajo la cínica connivencia de los gobernantes la que posibilitó todo este daño.

Transparencia, control y evaluación independientes son condiciones necesarias para proteger a los ciudadanos del poder y arbitrariedades de la IA. Pero Ramón Suárez advierte de que ante todo debemos evitar su 'generalización' y exigir que el uso de estas herramientas sea 'puntual y subsidiario a la acción humana', la cual debe prevalecer en el ámbito penal y de seguridad.

Metropolice

¿Reforma o decrecimiento policial?

Sergio García Débora Ávila

1

Policía

Los ecos de ‘Defund the Police’ ¿Reforma o decrecimiento policial?

Sergio García ,  Débora Ávila

1

La campaña ‘Defund the Police’ cuestiona las reformas policiales e interpela a los movimientos por la justicia social en España.

Asimismo, debemos observar la realidad de fondo y preguntarnos si la respuesta policial es la más adecuada en todo caso. Santiago Ruiz señala que mientras 'se ha ido reduciendo el número de trabajadores sociales' la labor de éstos 'se ha ido sustituyendo por la policía'. Así se da una respuesta 'unidimensional' a una realidad 'multidimensional y compleja'. Problemas cuyo origen reside en la desigualdad, la discriminación o la salud son encarados como cuestiones de seguridad recibiendo una respuesta punitiva. Pero la historia nos muestra que la persecución y el castigo nunca han acabado con estos problemas sino que acaso los han recrudecido favoreciendo, asimismo, el clima social propicio para el auge de la extrema derecha.