Orientaciones del SEPD sobre inteligencia artificial generativa

Introducción

El Supervisor Europeo de Protección de Datos (“SEPD”) ha publicado recientemente las primeras Orientaciones para garantizar el cumplimiento de la normativa sobre protección de datos al utilizar sistemas de IA generativa (“Orientaciones”). El objetivo es proporcionar recomendaciones prácticas a las instituciones, organismos, oficinas y agencias de la UE (“IUE”) en relación con el tratamiento de datos personales al utilizar sistemas de inteligencia artificial (“IA”) generativa, de cara a garantizar el cumplimiento del Reglamento (UE) 2018/1725 (“Reglamento” o “RPD”).

Las Orientaciones abordan la cuestión de si las IUE pueden utilizar IA generativa y en qué condiciones. La IA generativa es una rama de la IA que utiliza modelos especializados de aprendizaje automático diseñados para producir una amplia variedad de resultados como texto, imagen o audio. En términos generales, el SEPD considera que no existe ningún obstáculo fundamental para el uso de la IA generativa por parte de las IUE, siempre que lo permita su normativa y se cumplan todos los requisitos legales aplicables, especialmente en lo que se refiere al respeto de los derechos y libertades fundamentales de las personas.

No obstante, el SEPD:

1. Subraya que el Reglamento resulta plenamente aplicable a todas las actividades de tratamiento de datos personales implicadas en el uso de IA generativa. Además, conforme al principio de responsabilidad, deben definirse claramente las responsabilidades que deberán respetar estrictamente todos los actores que intervienen en la cadena del modelo de IA generativa, y
2. Recomienda a las IUE valorar cuidadosamente cuándo y cómo utilizar IA generativa de manera responsable y en aras del interés público, valorando los riesgos y garantizando el carácter transparente, explicable, coherente, auditable y accesible del sistema.

En las siguientes páginas resumimos los principales aspectos de las Orientaciones.

1. Función del delegado de protección de datos (“DPD”), la importancia de la EIPD y la base jurídica para el tratamiento de datos personales en un sistema de IA generativa

Las Orientaciones del SEPD destacan la importancia de aprovechar las lecciones extraídas del Reglamento General de Protección de Datos (“RGPD”), y en particular del RPD, dentro de cada organización. En el contexto actual, donde los sistemas de IA generativa procesan infinidad de datos personales, el papel del DPD se ha vuelto aún más crítico para garantizar el cumplimiento y la eficacia de los sistemas de gestión de protección de datos.

El DPD debe participar obligatoriamente desde el principio en cualquier sistema de IA generativa que trate datos personales. El DPD no puede ser la última persona que se incorpore a las conversaciones sobre el uso de sistemas de IA generativa en el seno de una organización.

Por tanto, para garantizar una adecuada protección de datos en el desarrollo y la puesta en marcha de los sistemas de IA generativa, el DPD debe tener un conocimiento claro del ciclo de vida y el funcionamiento del sistema. Esto incluye las siguientes actuaciones:

• Obtener información sobre el origen/fuente de los datos personales (cuándo y cómo los tratan dichos sistemas).
• Garantizar la licitud en el tratamiento de los datos personales, incorporando los principios de protección de datos por defecto en el diseño.
• Comprender los resultados generados por estos sistemas (cómo operan los mecanismos de entrada y salida).
• Analizar los procesos de toma de decisiones basados en el modelo.
• Realizar evaluaciones de impacto de protección de datos (“EIPD”) y prestar asesoramiento al respecto.
• Actualizar los registros de actividades del responsable del tratamiento.
• Elaborar y aplicar un inventario de los sistemas de IA generativa para garantizar un control y una supervisión adecuados.
• Garantizar la revisión y la celebración de acuerdos de tratamiento de datos con proveedores de modelos, incluyendo obligaciones en materia de transferencia de datos personales.

Aunque el carácter obligatorio de las EIPD dependerá de cada caso, los sistemas de IA generativa son claros candidatos para su realización, dada su complejidad y su impacto potencial. El SEPD aclara que puede ser necesario llevar a cabo una EIPD cuando “se utilicen nuevas tecnologías” o cuando la tecnología sea de “una nueva clase para la que no se haya realizado ninguna evaluación previa”. Las EIPD permiten abordar de manera proactiva las medidas técnicas y organizativas adecuadas para mitigar los riesgos, constituyendo un mecanismo adecuado para garantizar la transparencia y la responsabilidad. Además, proporcionan un registro claro de cómo se han integrado los principios de protección de datos en el sistema de IA.

Por otra parte, según reflejan las prácticas actuales, los modelos de IA generativa pueden obtener datos personales directamente de los usuarios, de fuentes públicas en internet, mediante entradas del sistema, a través de nueva información, o de terceros. En el contexto de los sistemas de IA generativa, el entrenamiento y el uso de dichos sistemas suele implicar el tratamiento sistemático y a gran escala de datos personales. Esos datos se tratan normalmente sin el conocimiento de los interesados. Por consiguiente, teniendo en cuenta el modo en que se entrenan los sistemas de IA generativa y las fuentes de los datos utilizados para dicho entrenamiento, el tratamiento requiere una base jurídica, incluyendo:

• Una obligación legal o el ejercicio de poder público, establecidos de forma clara y precisa en la legislación de la UE.
• El consentimiento, que debe considerarse cuidadosamente. En caso de que se retire, todas las operaciones de tratamiento de datos basadas en dicho consentimiento y realizadas con anterioridad a su retirada seguirán considerándose lícitas. Sin embargo, el responsable del tratamiento debe interrumpir las operaciones de tratamiento afectadas por la retirada del consentimiento. Si no existe ninguna otra base jurídica, deberán borrarse los datos correspondientes.
• Los proveedores de modelos de IA generativa pueden basarse en el interés legítimo, en particular en relación con la recogida de datos utilizados para desarrollar el sistema, incluidos los procesos de entrenamiento y validación. Para ello será necesario acreditar un interés legítimo, la necesidad del tratamiento y la proporcionalidad con respecto a los derechos del interesado.

Mediante la integración de estas responsabilidades y estrategias, los DPD pueden contribuir significativamente a un uso fiable y conforme de los sistemas de IA generativa, fomentando una cultura de protección de datos y transparencia en las organizaciones.

2. Principios de minimización y exactitud de los datos en relación con los sistemas de IA

Empezando por el principio de minimización de datos, las Orientaciones del SEPD dejan claro que las IUE responsables del tratamiento deben limitar la recogida y el tratamiento de datos personales a lo necesario para cumplir con los fines previstos. Esto incluye las fases de prueba, aceptación y puesta en producción. A este respecto, los responsables del tratamiento deben adoptar las siguientes medidas para garantizar el cumplimiento de este principio:

• El personal implicado en el desarrollo de modelos de IA generativa debe conocer los procedimientos técnicos disponibles para minimizar el uso de datos personales.
• Las IUE deben desarrollar y utilizar modelos entrenados con conjuntos de datos que incluyan los mínimos datos personales necesarios para cumplir la finalidad del tratamiento.
• Los conjuntos de datos y los modelos deben incluir documentación sobre su estructura, mantenimiento y uso previsto.
• Las IUE deben incluir en sus evaluaciones consideraciones sobre el principio de minimización de datos al utilizar sistemas diseñados o gestionados por terceros proveedores de servicios.

Para cumplir el principio de exactitud de los datos, las Orientaciones del SEPD indican que las IUE responsables del tratamiento deben verificar la estructura y el contenido de los conjuntos de datos de entrenamiento, aunque se obtengan de terceros. Además, se deben controlar los resultados que contengan datos personales, lo que requiere medidas de supervisión (como el control humano). Los desarrolladores también deben utilizar conjuntos de validación durante el entrenamiento, así como conjuntos de prueba independientes para la evaluación final, a fin de obtener una estimación sobre el rendimiento del sistema.

En este sentido, las IUE que utilicen sistemas de IA o conjuntos de datos de entrenamiento, prueba o validación proporcionados por terceros deberán obtener garantías contractuales y documentación en relación con los procedimientos utilizados para garantizar el cumplimiento del principio de exactitud de los datos. Se trata de un principio y una práctica relevantes que deben tenerse en cuenta, especialmente por lo que respecta a los modelos, ya que pueden generar resultados que incluyan información falsa o inexacta (lo que también se conoce como “alucinaciones”).

Las Orientaciones del SEPD incluyen recomendaciones sobre cómo deben informar del tratamiento de datos personales las IUE que utilicen sistemas de IA generativa. Además, las IUE deben facilitar a los interesados toda la información requerida con arreglo al Reglamento, que incluye lo siguiente:

• Políticas de información y transparencia que informen a los interesados sobre cómo, cuándo y por qué las IUE tratan datos personales en los sistemas de IA generativa (incluyendo información sobre las actividades realizadas en cada fase de desarrollo y, en su caso, cumpliendo determinados requisitos adicionales de transparencia).
• Información actualizada sobre el funcionamiento de los algoritmos utilizados y sobre los conjuntos de datos de tratamiento para cumplir con las obligaciones de información relacionadas con la elaboración de perfiles y las decisiones automatizadas.

3.      Decisiones automatizadas

En principio, tanto el RGPD como el RPD prohíben las decisiones automatizadas (“DA”) sin intervención humana (incluida la elaboración de perfiles) que produzcan efectos legales o significativos en los interesados, salvo que exista necesidad contractual, consentimiento o autorización en virtud de la legislación de la UE o de los Estados miembros. En cualquier caso, estas excepciones deben ir acompañadas de medidas para salvaguardar los derechos y libertades de los interesados, quedando prohibido el tratamiento de las categorías especiales de datos a menos que se cuente con su consentimiento.

No todos los sistemas de IA encajan en la definición de DA conforme a la normativa de la UE en materia de protección de datos. Solo se incluyen aquellos sistemas que proporcionan información para la toma de decisiones automatizadas que implican la elaboración de perfiles y/o evaluaciones individuales. El SEPD destaca la importancia de garantizar las protecciones individuales, como el derecho a obtener intervención humana, a expresar el propio punto de vista y a impugnar la decisión. Por otra parte, el SEPD advierte también de los riesgos específicos y de los daños potenciales de los sistemas de IA generativa en el contexto de la toma de decisiones automatizada, en particular sobre las poblaciones vulnerables y los niños. En este sentido, aconseja a las IUE que consideren detenidamente el uso de tales sistemas si existen dudas sobre su legalidad o su potencial carácter injusto, poco ético o discriminatorio.

El SEPD también aborda la cuestión del tratamiento leal y la supresión de sesgos en los sistemas de IA generativa, con consecuencias potencialmente adversas para los derechos fundamentales y las libertades de los interesados (incluidos supuestos de discriminación). El SEPD identifica algunas de las principales fuentes de sesgos que pueden surgir en cualquier fase de desarrollo de los sistemas de IA generativa, como los datos de entrenamiento, los algoritmos o factores humanos. Así, recomienda algunas de las medidas y buenas prácticas que las IUE deben adoptar y aplicar para minimizar y mitigar dichos sesgos:

• Asegurar una representación adecuada y equilibrada de la realidad en los conjuntos de datos.
• Aplicar mecanismos de rendición de cuentas y supervisión.
• Mantener un registro de las actividades de tratamiento.
• Utilizar modelos de documentación técnica.

Asimismo, el SEPD recomienda a las IUE comprobar y supervisar periódicamente los resultados del sistema para detectar sesgos, así como evitar confiar excesivamente en los resultados proporcionados por sistemas que pueden generar sesgos de automatización y de confirmación.

También cabe mencionar los retos relacionados con el ejercicio de los derechos individuales en el contexto de los sistemas de IA generativa, como el derecho de acceso, rectificación, supresión y oposición al tratamiento de datos. Existe una dificultad evidente para identificar y acceder a los datos personales almacenados por cualquier modelo de lenguaje de IA de gran tamaño, especialmente cuando se representan como vectores numéricos mediante un proceso denominado incrustación de palabras. El SEPD reconoce la complejidad de gestionar la producción de datos personales obtenidos mediante inferencia, así como el posible impacto del ejercicio de determinados derechos (como el derecho de supresión) en la eficacia del modelo. En consecuencia, el SEPD señala que tanto una gestión adecuada de los conjuntos de datos como de las técnicas de minimización de datos pueden ayudar a mitigar los riesgos relacionados con el ejercicio de los derechos individuales. El SEPD también recuerda a las IUE su responsabilidad y la obligación de aplicar medidas técnicas, organizativas y de procedimiento adecuadas para garantizar el ejercicio efectivo de los derechos individuales.

4.       Seguridad de los datos

Finalmente, el SEPD entiende que el uso de sistemas de IA generativa conlleva riesgos para la seguridad de las personas físicas. En ese sentido, el Reglamento insta a las IUE a adoptar medidas técnicas y organizativas adecuadas para salvaguardar sus derechos y libertades.

Las IUE (que actúen como responsables del tratamiento) deben integrar controles específicos adaptados a las vulnerabilidades conocidas de dichos sistemas. Las IUE solo deben utilizar conjuntos de datos fiables que se verifiquen periódicamente, además de formar a su personal frente a los riesgos relacionados con la IA y actualizar las evaluaciones de riesgos. Por otra parte, los conocimientos avanzados y técnicas como el “red teaming” pueden ayudar a descubrir vulnerabilidades desconocidas. Por último, cuando se utiliza la Generación Aumentada de Recuperación, es crucial comprobar si ha habido una filtración de datos personales por parte del sistema de IA.

Debido a la falta de información sobre los riesgos de la IA generativa, las IUE deben extremar la precaución y vigilar los aspectos relacionados con la seguridad informática, incluidos los ataques malintencionados de terceros.