Reino Unido
Reino Unido investiga a X por los desnudos deepfake hechos con su inteligencia artificial Grok

El organismo público de control, Ofcom, ha abierto este lunes una investigación formal sobre X en virtud de la Online Safety Act (Ley de Seguridad en Línea). La investigación deberá determinar si X ha cumplido con su obligación de proteger a los ciudadanos del Reino Unido de contenido ilegal en el país, explican.

El anuncio se hace después de conocerse “informes muy preocupantes sobre el uso de la cuenta del chatbot Grok AI en X para crear y compartir imágenes de personas desnudas”, algo que podría constituir abuso de imágenes íntimas o pornografía, e imágenes sexualizadas de niños, que podrían constituir material de abuso sexual infantil, dice este organismo que se encarga, entre otras cosas, supervisar los estándares de contenido en televisión y radio, protegiendo a los espectadores y oyentes.

Ofcom advierte de que tomará las medidas que considere adecuadas para evitar que las ciudadanía tenga acceso a contenido ilegal

Ofcom explica que se puso en contacto con X el lunes 5 de enero con carácter de urgencia y fijó un plazo para que explicara las medidas que había adoptado para cumplir con su obligación de proteger a sus usuarios en el Reino Unido. La empresa respondió dentro del plazo, que finalizaba el 9 de enero. Entonces, se procedió a realizar una evaluación de las pruebas.

La investigación debería determinar si X ha incumplido sus obligaciones legales en virtud de la Ley de Seguridad en Línea, en particular, sopesar el riesgo de que las personas en el Reino Unido vean contenido ilegal en el Reino Unido y realizar una evaluación de riesgos actualizada antes de realizar cambios significativos en su servicio. Además, Ofcom tomará las medidas que considera adecuadas para evitar que las personas en el Reino Unido vean contenido que es “ilegal” en Reino Unido, incluyendo imágenes íntimas no consentidas y abuso sexual infantil.

Medidas específicas para reparar daños y multas de hasta 18 millones de libras esterlinas o el 10 % de los ingresos mundiales, son las consecuencias que podría tener la investigación, advierten. Además, en los casos más graves de incumplimiento continuado, podrían llegar a solicitar a un tribunal la aplicación de “medidas de interrupción de la actividad empresarial”.

Bloqueo en Indonesia, preocupación global

A principio de enero, un informe puso de manifiesto cómo se utiliza la IA integrada en la red de Elon Musk: el informe de AI Forensics concluyó que el 53 % de las imágenes generadas por esta IA desarrollada por la red social de Elon Musk, X, contenía personas con “vestimenta mínima”. De ellas, ​​el 81 % eran mujeres y el 2 % representaba a personas que parecían tener 18 años o menos. Además, el 6 % involucraba a figuras públicas. Entre las principales conclusiones, el estudio indica que Grok se utilizó también para generar material de propaganda nazi y del ISIS.

Grok es un asistente de inteligencia artificial desarrollado por AI, la empresa de IA de Elon Musk, que opera dentro de la plataforma X. Está diseñado para responder preguntas y realizar tareas. Fue lanzado en noviembre de 2023 y se presentó desde su lanzamiento como una versión de asistente de IA con menos limitaciones éticas a la hora de generar contenido.

Irlanda y Francia anunciaron medidas, la Comisión Europea ha ordenado a X guardar imágenes generadas con Grok para abrir una investigación e Indonesia ha bloqueado la herramienta

La publicación del informe puso en alerta a varios países. Irlanda y Francia anunciaron que tomarán medidas. Este domingo, Indonesia anunció el bloqueo de Grok. “El Gobierno considera la práctica de deepfakes sexuales no consentidos como una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital”, señaló el ministro de Comunicaciones y Medios Digitales del país asiático, Meutya Hafid. Además, la Comisión Europea anunció el pasado jueves jueves que ha ordenado a la red social X conservar toda su documentación interna relativa a Grok, durante 2026, en el marco de la investigación que mantiene abierta a la plataforma para analizar su política contra los contenidos ilegales.

En España, el ministerio de Juventud en Infancia envió una petición a la Fiscalía General del Estado tras conocer el informe. Para la ministra Sira Rego, se trataría de “material de violencia sexual contra personas menores de edad”, ha explicado, “una práctica que no puede entenderse como un uso neutro de la tecnología” por lo que pidió a La Fiscalía que investigue si este uso de Grok puede constituir un delito de pornografía infantil, tal y como está recogido en el Artículo 189 del Código Penal, así como un delito contra la integridad moral, recogido en el artículo 173.