El Reglamento de IA ante los deepfakes de desnudos

El avance tecnológico ha traído consigo una serie de desafíos que, hasta hace poco, eran territorio exclusivo de la ciencia ficción. Uno de estos desafíos es el fenómeno de los deepfakes, también conocidos como «ultrafalsificaciones» en castellano, y su utilización para superponer rostros de personas reales en cuerpos desnudos sin consentimiento, que ha generado un debate jurídico y ético relacionado con este uso de la inteligencia artificial (IA). En este artículo evaluaremos si la futura regulación europea de IA, reflejada actualmente en la última versión de la Propuesta de Reglamento IA conforme a las enmiendas introducidas por el Parlamento Europeo (“Reglamento IA”), puede ser una herramienta eficaz para combatir las tecnologías de inteligencia artificial diseñadas específicamente para generar este tipo de contenido.

Introducción

El Reglamento IA ofrece, en su art. 3.1. 44e), una definición del concepto deepfake entendido como «contenido de audio, imagen o vídeo manipulado o sintético que parecería falsamente auténtico o veraz, y que presenta representaciones de personas que parecen decir o hacer cosas que no dijeron ni hicieron, producido mediante técnicas de IA, incluidos el aprendizaje automático y el aprendizaje profundo».

Aunque la creación de deepfakes no es algo nuevo, la irrupción de la IA generativa ha popularizado su creación y difusión, causando un desasosiego generalizado, especialmente cuando se utiliza con fines maliciosos, como la creación de imágenes de personas reales en cueros o incluso contenido pornográfico. Más allá de la angustia que esto puede generar a las víctimas, la creación y difusión de estos deepfakes puede provocar un daño moral y reputacional incuantificable en las víctimas.

Recientemente, hemos conocido varios casos que han capturado la atención pública. En concreto, podemos destacar el caso Almendralejo, donde una serie de filtraciones de imágenes de falsos desnudos de decenas de menores de edad han conmocionado a la localidad pacense. A su vez, destacamos el caso de la influencer Laura Escanes, quien denunció, a través de sus redes sociales, la existencia de fotografías falsas de ella misma desnuda creadas por IA circulando por internet. Este incidente, junto con otros similares, subraya la necesidad urgente de una regulación adecuada en este ámbito. La gravedad de estos hechos podría llegar a acentuarse, cuando no sólo se trata de generar una imagen falsa del cuerpo de una persona, sino también de incluirla en un contexto web pornográfico. Precisamente esta situación fue la aconteció en el caso de la poeta inglesa, Helen Mort, allá por 2020. Estos incidentes, entre muchos otros más, resaltan la urgente necesidad de claridad en la regulación sobre este ámbito.

Análisis de aspectos legales aplicables del Reglamento de IA

¿Dispone la Propuesta de Reglamento de IA –en la versión adoptada por el Parlamento– de herramientas para que las víctimas puedan enfrentarse jurídicamente de forma exitosa ante tecnologías desarrolladas para crear este tipo de contenido? A continuación, resumimos las alternativas que nos ofrecería el Reglamento de IA para ello en caso de que estuviera aprobado y en vigor.

Clasificación de la tecnología de generación de desnudos a los ojos del Reglamento de IA

Con carácter previo, conviene clasificar en el Reglamento de IA el tipo de sistema de IA concreto al que nos enfrentamos. En este caso, nos encontraríamos, en abstracto, que la tecnología de IA generadora de deepfakes de desnudos se encuadraría como un sistema "riesgo limitado", regulado específicamente en art. 52.3.

A efectos aclaratorios, la herramienta con la que se crean este tipo de deepfakes que generan desnudos, no sería un sistema de IA prohibido (art. 5) ni tampoco de un sistema de alto riesgo (art.6 y anexo III), por no encajar con lo que se prevé en los artículos en los que se regulan estos dos tipos de sistemas.

Asimismo, las Apps o tecnologías con las que se crean estos deepfakes se podrían considerar como sistemas de IA generativa y basados en modelos fundacionales conforme al Reglamento de IA (arts. 28b.4 y 3.1.1c).

Teniendo en cuenta esta clasificación, las tecnologías utilizadas estarían sometidas a un régimen de obligaciones conforme al Reglamento de IA que, a día de hoy, no se habrían cumplido y que, por tanto, hubiesen podido conllevar la imposición de potenciales sanciones por incumplimiento también previstas en el propio Reglamento de IA.

Obligaciones aplicables los sistemas de IA mediante los que se creen deepfakes de desnudos, así como a los contenidos creados conforme al Reglamento de IA

1. Obligaciones de transparencia de los usuarios (persona física o empresas) que utilicen estos sistemas de IA y difundan los contenidos

Como consecuencia de la clasificación de las herramientas de IA generadoras de desnudos falsos en el Reglamento de IA conforme a lo indicado anteriormente, ciertos usuarios de los mismos estarían sometidos a una serie de obligaciones de transparencia al utilizar estas tecnologías. Los usuarios que estarían sujetos a estas obligaciones de transparencia serían aquellos que se enmarcasen en la definición de «deployer» conforme al art. 3(4) del Reglamento de IA, esto es «cualquier persona física o jurídica, autoridad pública, agencia u otro organismo que utiliza un sistema de IA bajo el ámbito de aplicación del Reglamento de IA, excepto en caso de que se utilice dicho sistema en el marco de una actividad personal no profesional». Lo anterior es sin perjuicio de que otras normativas aplicables sí prevean consecuencias para los usuarios que a título personal no profesional difundan este tipo de contenidos. En este comentario solamente nos estamos refiriendo a «usuarios» entendidos como «deployers» conforme a la definición del Reglamento de IA y, por tanto, excluyendo quienes hagan uso del sistema de IA a título personal no profesional.

Por un lado, a la hora de difundir cualquier deepfake obtenido mediante el uso del programa en cuestión, los usuarios (deployers) del sistema de IA estarían obligados a revelar de forma adecuada, oportuna, clara y visible: (i) que el contenido ha sido generado o manipulado artificialmente; y (ii) el nombre de la persona física o jurídica que lo ha generado o manipulado, siempre que sea posible. Este imperativo se podría materializar mediante el uso de etiquetado (p. ej., marcas de agua en las imágenes generadas) informando claramente a cualquier persona que reciba el contenido sobre la inautenticidad del contenido que visualiza. Sin perjuicio de que el mero etiquetado no parece la panacea, el apartado 3a del propio art. 52.3 desvirtúa la obligación de etiquetado en caso de que el uso del sistema de IA generador de deepfakes sea necesario para el ejercicio del derecho a la libertad de expresión. Por ello, un hipotético usuario malicioso podría esgrimir en su defensa que creó contenido falso, incluyendo personas en cueros, por admiración, razones artísticas o mera libertad de expresión. Estos conceptos indeterminados, de amplia extensión y de interpretación acaloradamente debatida podrían crear excepciones de facto que, en la práctica, implicasen que un gran número de deepfakes pudieran llegar a estar eximidos de la obligación de etiquetado, lo cual proyecta un escenario altamente litigioso en torno a la necesidad de incluir o no etiquetas en cumplimiento de este requisito.

Sentado lo anterior y, asumiendo las dificultades mencionadas de aplicación de la regulación de los deepfakes, los usuarios (deployers) que generaron los deepfakes con falsos desnudos podrían haber infringido las obligaciones de transparencia al difundir el contenido, lo que podría acarrear una sanción conforme al art. 71.4. A pesar de que este precepto no explicita que tal infracción conlleve indefectiblemente una sanción y, que pueda resultar excesivamente amplio, podríamos interpretar que esta actuación ilegal estaría sujeta –siempre según el texto del Parlamento– a multas administrativas de hasta 10.000.000 de euros o, si el infractor es una empresa, hasta el 2% de su volumen de negocios anual en todo el mundo ejercicio financiero anterior, si esta cifra es superior.

2.     Obligaciones aplicables al uso de modelos fundacionales en los sistemas de IA generativa

A los sistemas de IA generativa específicamente destinados a generar con distintos niveles de autonomía, contenidos como texto complejo, imágenes, audio o vídeo (p. ej., deepfakes), como son las tecnologías generadoras de deepfakes de desnudos que nos ocupan, les resulta directamente aplicable el art. 28b.4.

Este precepto establece el conjunto de obligaciones derivadas del uso de modelos fundacionales en sistemas de IA generativa que deberán observar sus proveedores, en particular:

• Cumplir las obligaciones de transparencia contempladas en el art. 52.1, complementarias con las ya mencionadas en el punto anterior. Asimismo, será necesario informar sobre qué funciones están habilitadas para el sistema de IA, si hay supervisión humana, y quién es responsable del proceso de toma de decisiones, así como los derechos y procesos existentes que permiten a los individuos oponerse a la aplicación de dichos sistemas y obtener reparación judicial contra las decisiones adoptadas o los daños causados por los sistemas de IA, incluido su derecho a la explicabilidad.
• Entrenar, y en su caso diseñar y desarrollar el modelo fundacional de forma que se garanticen salvaguardias adecuadas (a este respecto cabe referirse a herramientas de moderación de contenidos como la de ChatGPT4) contra la generación de contenidos contrarios al Derecho de la Unión Europea en consonancia con el estado de la técnica, respetando los derechos fundamentales (p. ej., la libertad de expresión). 
• Documentar y publicar un resumen suficientemente detallado del uso de datos de entrenamiento protegidos al amparo de los derechos de autor. Una obligación de listar todo el material protegido, por cierto, de difícil cumplimiento, al tratarse de una ardua e incierta tarea.

Para todo ello, sería necesario auditar el sistema de IA con el fin de probar si el proveedor ha cumplido con las exigencias mínimas del art 28b.4. Un potencial incumplimiento podría derivar, a nuestro juicio, en las mismas sanciones expuestas anteriormente, con base en el art. 71.4.

Posición de la Comisión Europea

En otro orden de ideas, la Comisión Europea (“Comisión”) ya abordó en julio de 2021, en su estudio Tackling deepfakes in European policy, el fenómeno de los deepfakes y sus retos jurídicos. Si bien se trata de un informe extenso, cuyas conclusiones y propuestas cabrá ver si finalmente se acogen en todo o en parte en el texto final del Reglamento de IA o en futura normativa de desarrollo del mismo, conviene rescatar brevemente algunas de sus propuestas legislativas de mayor interés que no se reflejan actualmente en el Reglamento de IA: 

1. Regular la tecnología deepfake como de alto riesgo: Teniendo en cuenta la larga lista de riesgos e impactos adversos asociados a los deepfakes, la Comisión arguye su clara afectación a los derechos fundamentales, la salud y a la seguridad, y hace un llamamiento para que las tecnologías de IA que creen deepfakes se categoricen como de alto riesgo. Categorizar estos sistemas como de alto riesgo, implicaría la aplicación de mayores obligaciones legales al proveedor de la tecnología, incluyendo la realización de evaluaciones de riesgos, la provisión de documentación, la supervisión humana y la garantía de la calidad de los conjuntos de datos de entrenamiento.
2. Prohibir determinadas aplicaciones: Considerando el potencial impacto negativo de aplicaciones específicas de deepfakes (p. ej., la pornografía deepfake no consentida), las obligaciones de transparencia por sí solas parecen insuficientes para hacer frente a esos efectos negativos. Por lo tanto, la Comisión proponía como opción prohibir determinados tipos de aplicaciones y usos concretos de esta tecnología.
3. Ampliar el marco jurídico actual en materia de delitos: Teniendo en cuenta los usos malintencionados de deepfakes, podría ser útil para determinar si es necesario o deseable añadir tipos penales y especificar ciertos tipos penales ya existentes. En Alemania, por ejemplo, está prohibida la distribución de un deepfake que viole los derechos de imagen o intimidad (como la pornografía deepfake), pero no su producción.
4. Detección de deepfakes: Debido al papel central que desempeñan las plataformas en línea y otros intermediarios en la difusión de deepfakes, la Comisión plantea obligar a dichas plataformas e intermediarios a disponer de un software de detección de deepfakes como requisito previo para un posible etiquetado. Una alternativa para la detección es el uso de filtros de carga –por ejemplo, que los rostros aparezcan difuminados hasta que las personas retratadas den su consentimiento–. Aunque esta opción también conlleva inconvenientes como los límites de la técnica o los peligros de censurar expresiones artísticas, vulnerando la libertad de expresión.

Conclusión

La creación de deepfakes de desnudos mediante sistemas de IA, así como su distribución posterior sin consentimiento de la persona que aparece, son cuestiones ciertamente controvertidas que ponen en jaque al Reglamento de IA. A medida que la tecnología de IA avanza, es imperativo que la regulación se adapte específicamente para proteger a las personas y sus derechos fundamentales, así como, para mantener la integridad del entorno digital. La versión final del Reglamento de IA y su posterior aplicación, arrojarán luz tanto sobre la efectividad de los mecanismos jurídicos analizados en este artículo, como sobre las sombras, que evidenciarán las potenciales lagunas de esta normativa en la lucha frente a la lacra de los deepfakes ilícitos en línea generados por sistemas de IA.