El Reglamento de IA supera una votación clave en el Parlamento

El Parlamento Europeo (PE) ha alcanzado un compromiso sobre el borrador de enmiendas (Compromiso del PE) sobre la Propuesta inicial de Reglamento de Inteligencia Artificial (Propuesta inicial de Reglamento IA). Este hito supone un nuevo avance –que deberá ratificarse en la votación en el pleno del PE– hacia la adopción del texto definitivo del Reglamento de IA, normativa pionera que regulará los sistemas de Inteligencia Artificial, entre los que se encuentran tecnologías como ChatGPT. Las enmiendas introducidas por el Parlamento tienen como finalidad última crear un marco normativo europeo en el que se garantice que la IA se desarrolla en un entorno ético y centrado en el ser humano, estableciendo normas de transparencia y gestión de riesgos para los sistemas para la consecución de estos fines.

El Compromiso del PE sobre el Reglamento de IA ha sido aprobado por el Comité de Mercado Interior y Protección del Consumidor y el Comité de Libertades Civiles, Justicia y Asuntos de Interior, con 84 votos a favor, 7 en contra y 12 abstenciones. Entre las modificaciones propuestas se encuentran las siguientes (citamos los artículos del Borrador de enmiendas tal como ha sido aceptado por los Comités del PE): 

• Incluir principios y criterios para asegurar la supervisión humana, la seguridad, la transparencia, la trazabilidad, la no discriminación y el respeto al medio ambiente por los sistemas de IA.
• Revisar la definicion de “sistema de IA” en línea con la definición adoptada por la Organización para la Cooperación y el Desarrollo Económico (art. 3).
• Incluir otros conceptos como “modelo fundacional”, “sistema de IA de propósito general”, o “riesgo significativo” (art. 3).
• Proseguir en el enfoque de regulación basado en el riesgo, incorporando como principales novedades las siguientes:
• modificaciones sustanciales en los sistemas de IA prohibidos (art. 5);
• variaciones en la categorización de sistemas de alto riesgo (art. 6), y
• obligaciones para los proveedores de modelos fundacionales y sistemas de IA generativa (art. 28b, con especial atención a su apartado 4); 
• evaluaciones de impacto de derechos fundamentales, derechos de las personas físicas y fomento de la innovación (sandboxes regulatorios).

A continuación resumimos los principales aspectos a tener en cuenta en relación con cada una de estas novedades:

 1.        Sistemas de IA prohibidos

El listado de sistemas de IA prohibidos se amplia, comprendiendo los siguientes:

• Sistemas de identificación biométrica remota en tiempo real en espacios públicos accesibles, y sistemas de identificación biométrica remota “ulterior” (con la única excepción de fines de aplicación de la ley para la persecución de delitos graves y solo después de la autorización judicial).
• Sistemas de categorización biométrica que utilicen características sensibles (p. ej., género, raza, etnia, estado de ciudadanía, religión, orientación política).
• Sistemas de vigilancia policial predictiva (predictive policing) basados en perfiles, ubicación o comportamientos delictivos pasados.
• Sistemas de reconocimiento de emociones en el ámbito policial, gestión fronteriza, lugar de trabajo e instituciones educativas.
• Sistemas de extracción indiscriminada de datos biométricos de redes sociales o imágenes de CCTV para crear bases de datos de reconocimiento facial. En relación con este punto queremos remitir a una publicación anterior La CNIL conmina a una startup estadounidense a cesar el tratamiento ilegal de datos biométricos, sobre una famosa startup estadounidense sancionada en múltiples ocasiones por diversas autoridades.

2.        Categorización de sistemas de IA de alto riesgo

Los eurodiputados han introducido una modificación significativa en la categorización de los sistemas de IA de alto riesgo. Inicialmente, la consideración de alto riesgo de los llamados sistemas independientes (los no vinculados a la normativa armonizada sobre seguridad de productos) se determinaba sobre la base de una lista de áreas críticas y casos de uso del Anexo III.

Ahora el Compromiso del PE descarta este automatismo, añadiendo una capa adicional para determinar si un sistema de IA puede calificarse como de alto riesgo. Se trata de que, además de subsumirse en una o más de las categorías y casos del listado del Anexo III, el sistema debe plantear un riesgo significativo de dañar la salud, la seguridad, los derechos fundamentales de las personas (art. 6.2.a).

Los proveedores que consideren que sus sistemas no suponen un riesgo significativo, y que por tanto no quedan obligados a cumplir con los requisitos del Reglamento, deberán notificarlo razonadamente a la autoridad competente, que dispondrá de tres meses para oponerse. Si un proveedor califica falsamente su sistema de IA como no sujeto a las obligaciones del Regalmento y lo introduce en el mercado antes del plazo para que las autoridades formulen objeciones, será responsable y quedará sujeto a las sanciones del art. 71 (art. 6.2.a,b)

En otro orden de ideas, se añaden importantes variaciones en el Anexo III, incluyendo nuevos casos de uso que serán considerados de alto riesgo. El Compromiso del PE introduce precisiones, entre otros campos, en los usos en infraestructuras críticas, educación, empleo y acceso a servicios esenciales, y amplia los ámbitos referidos a la aplicación de la ley, control de la migración y administración de justicia y procesos democráticos. En relación con este último ámbito, resulta de especial interés la inclusión como sistemas de alto riesgo de dos casos de uso novedosos y de gran impacto: (i) sistemas de IA destinados a influenciar en el resultado de las elecciones democráticas; y (ii) sistemas de recomendación utilizados por plataformas en línea de muy gran tamaño (con más de 45 millones de usuarios al amparo del art. 33 del Reglamento (UE) de Servicios Digitales).

3.       Sistemas de IA de propósito general y modelos fundacionales 

La Propuesta inicial del Reglamento IA no incluía una definición en la que se pudieran englobar los sistemas de IA generativa como una subcategoría concreta dentro de los sistemas de IA. Sin embargo, la aparición de ChatGPT, Stable Difussion, Midjourney y otros sistemas de IA generativa han impulsado a los legisladores de la UE a incorporar una regulación específica para este tipo de sistemas de IA.

Si bien la propuesta del Consejo, ya había introducido el concepto de sistema de IA de propósito general, el Compromiso del PE añade la noción de “modelo fundacional”, como subcategoría de los sistemas de propósito general. Las obligaciones que se imponen a los proveedores de modelos fundacionales abarcan, entre otros puntos, la gestión de riesgos, la gobernanza de los datos y el nivel de solidez del modelo básico, que deberá ser examinado por expertos independientes. Se les exige también diseñar y desarrollar sus modelos haciendo uso de las normas aplicables para reducir el consumo de energía, el uso de recursos y los residuos, así como para aumentar la eficiencia energética y la eficiencia global del sistema (art. 28.b).

El art. 28b.4 del Compromiso del PE regula específicamente los modelos fundacionales utilizados en sistemas de IA generativa como ChatGPT, estableciendo un último nivel más estricto de obligaciones y requisitos. A modo ilustrativo, los proveedores deberán: 

• diseñar el modelo para que evite la generación de contenidos ilegales; 
• publicar un resumen detallado de los datos de entrenamiento protegidos por derechos de autor (sobre la posible infracción de derechos de autor por estos sistemas de IA generativa, puede verse en nuestro anterior Post| El desarrollo de sistemas de inteligencia artificial y la posible infracción de derechos de autor ; 
• cumplir con las obligaciones de transparencia del artículo 52.1.

4.          Otras cuestiones de interés: 

Evaluación de impacto de derechos fundamentales

Otro aspecto intensamente debatido en los últimos meses ha sido la inclusión en el Reglamento IA de una obligación de realizar una evaluación de impacto para los derechos fundamentales en caso de implementar sistemas de alto riesgo. El art. 29.a del Compromiso del PE incorpora esta nueva obligación y contempla los elementos que, como mínimo, ha de incluir esta evaluación: (i) una descripción clara de la finalidad prevista para la que se utilizará el sistema de IA; (ii) una descripción clara del ámbito geográfico y temporal previsto para el uso del sistema; (iii) las categorías de personas físicas y grupos que puedan verse afectados por la utilización del sistema; (iv) la comprobación de que la utilización del sistema es conforme con la legislación; (v) la comprobación de que el uso del sistema se ajusta a la legislación nacional y de la Unión Europea pertinente en materia de derechos fundamentales; (vi) el impacto razonablemente previsible sobre los derechos fundamentales de la puesta en funcionamiento del sistema de IA de alto riesgo; (vii) los riesgos específicos de perjuicios que puedan afectar a personas marginadas o grupos vulnerables; (viii) el impacto adverso razonablemente previsible de la utilización del sistema sobre el medio ambiente; (ix) un plan detallado sobre cómo se mitigarán los daños y el impacto negativo sobre los derechos fundamentales identificados; (x) el sistema de gobernanza que establecerá el actor que implemente el sistema, que incluirá supervisión humana, gestión de reclamaciones y sistema de reparación.

Derechos, remedios e instrumentos jurídicos para las personas físicas

El legislador europeo atiende a las peticiones de organizaciones internacionales sobre la inclusión de derechos y mecanismos de reparación para que las personas y los colectivos puedan comprender, pedir explicaciones, reclamar y lograr soluciones cuando los sistemas de IA vulneren sus derechos.

El Compromiso del PE proporciona un conjunto de instrumentos jurídicos y remedios, a través del Capítulo 3a, estableciendo el derecho de las personas o grupos de personas a presentar una queja ante una autoridad supervisora nacional, si consideran que un sistema de IA infringe el Reglamento IA (art. 68a del Compromiso del PE). La autoridad supervisora deberá informar al denunciante sobre el progreso y resultado de su reclamación, incluida la posibilidad de recurrir judicialmente.

Este derecho se incorpora mediante el art. 68b, que otorga a las personas físicas y jurídicas el derecho a interponer recurso judicial efectivo contra una decisión legalmente vinculante de una autoridad nacional supervisora que les concierna.

Por otro lado, el art. 68c establece el derecho a solicitar una explicación clara y significativa para las personas sobre las que se tomen decisiones individuales basadas en un sistema de IA de alto riesgo que produzca efectos jurídicos o afecte de manera significativamente similar, en manifiesta conexión con los derechos otorgados por el Reglamento General de Protección de Datos (arts. 12 a 15 y art. 22 RGPD), si se considera que despliegan un impacto adverso en la salud, seguridad, derechos fundamentales o bienestar socioeconómico de la persona afectada.

Asimismo, este derecho también habilita a las personas a requerir información sobre los principales parámetros de la decisión tomada y los datos de entrada correspondientes del sistema de IA.

Por último, los arts. 68d y 68e vinculan el Reglamento IA a la Directiva (UE) 2020/1828, de 25 de noviembre de 2020, relativa a las acciones de representación para la protección de los intereses colectivos de los consumidores y a la Directiva (UE) 2019/1937, de 23 de octubre de 2019, relativa a la protección de las personas que informen sobre infracciones del Derecho de la Unión.

Fomento de la innovación

En aras de fomentar la innovación en IA, se incluyen ciertas exenciones para actividades de investigación y componentes de IA proporcionados bajo licencias de código abierto. Esta nueva redacción promueve la creación de entornos controlados de pruebas o "sandbox regulatorios" establecidos por autoridades públicas para testar los sistemas de IA antes de su efectiva implementación (arts. 53 y ss. del Compromiso del PE), ámbito en el que España busca impulsar su liderazgo en la UE.

Próximos pasos

El acuerdo alcanzado deberá ser votado en el pleno del Parlamento. Está previsto que la votación tenga lugar durante la sesión del 12 al 15 de junio, precisamente antes de que puedan comenzar las negociaciones (diálogos tripartitos o trílogo) entre el Consejo de la UE, el Parlamento Europeo y la Comisión, en aras de acordar conjuntamente un documento definitivo. Desde este blog seguiremos, con interés y suma atención, cualquier novedad relativa a esta relevante y pionera regulación.