Normas sobre el uso de algoritmos por las Administraciones Públicas

El pasado 14 de julio entró en vigor la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, cuyo artículo 23 resulta especialmente novedoso, ya que establece obligaciones para las Administraciones Públicas (“AAPP”) en relación con los algoritmos de inteligencia artificial (“IA”) que estas utilicen para la toma de decisiones.

Este precepto se enmarca en la Estrategia Nacional de IA, la Carta de Derechos Digitales (la “Carta”) y las iniciativas europeas en torno a la IA -algunas de ellas abordadas en nuestro blog (aquí, aquí y aquí)-, que tienen como objetivo crear un marco de referencia para el desarrollo de una IA inclusiva, sostenible, fiable, centrada en el ser humano y respetuosa con los derechos fundamentales.

Esta novedad legislativa establece que las AAPP favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en sus tomas de decisiones,  tengan en cuenta los criterios de: (i) minimización de sesgos; (ii) transparencia; y (iii) rendición de cuentas, siempre que sea factible técnicamente. 

Si bien la juridificación de estos principios es un gran avance, cabe preguntarse cuál será su materialización práctica y, en consecuencia, cuál será su aplicabilidad concreta a los usuarios, proveedores y demás actores que participen en la cadena de valor de los sistemas de IA, en el sentido del art. 3 de la Propuesta de Reglamento de IA (“Reglamento IA”).

Sesgos discriminatorios

En lo que respecta a la mitigación de sesgos, la ausencia de una definición expresa en el Reglamento IA dificulta su interpretación. Si bien es cierto que existen aproximaciones, como por ejemplo las Directrices éticas para una IA fiable (las “Directrices”) que definen los sesgos como “una inclinación que favorece o perjudica a una persona, objeto o posición”, haciendo especial hincapié en las posibilidades de que los sistemas de IA incluyan sesgos discriminatorios, continuamos sin observar una clara exposición de la problemática (mencionada en el Reglamento IA en sus considerandos 40 y 44 y en los arts. 10.2 f), 10.5, 14.4 b) y 15).

Al contrario de lo que ocurre con la discriminación “en sentido estricto”, la discriminación algorítmica no se enfoca necesariamente en la existencia de un tratamiento desigual de ciertos colectivos, sino en un impacto desigual, debido a las correlaciones de las categorías de datos, parámetros y atributos utilizados por los algoritmos para alcanzar una decisión, recomendación o predicción.

Transparencia algorítmica

En cuanto a la transparencia algorítmica, deben destacarse los arts. 13 (sistemas de alto riesgo) y 52 (determinados sistemas de IA) del Reglamento IA, que regulan la información que ha de comunicarse. Por ejemplo, en el caso de los sistemas de alto riesgo: (i) la identidad y los datos de contacto del proveedor; (ii) las características, capacidades y limitaciones del funcionamiento del sistema de IA y sus cambios; o (iii)  las medidas de vigilancia humana incorporadas.

Por otra parte, en el contexto laboral, la Ley 12/2021, de 28 de septiembre (más conocida como ley rider), introduce una nueva letra d) en el artículo 64.4 del Estatuto de los Trabajadores, que determina la información que la empresa debe proporcionar al comité de empresa sobre los algoritmos, estableciendo así el derecho del comité de empresa a:

“(S)er informado por la empresa de los parámetros, reglas e instrucciones en los que se basan los algoritmos o sistemas de IA que afectan a la toma de decisiones que pueden incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo, incluida la elaboración de perfiles”.

Este precepto ha sido objeto de la reciente Guía práctica y herramienta sobre la obligación empresarial de información sobre el uso de algoritmos en el ámbito laboral, que ya expusimos en el blog, y que excluye la obligación de desvelar el código fuente.

En cuanto al alcance de la transparencia algorítmica para con los ciudadanos en el ámbito administrativo, surgen por ahora más dudas que certezas.

Rendición de cuentas

En cuanto a la rendición de cuentas hay que hacer referencia a la objetivización de la responsabilidad de las consecuencias potencialmente negativas de los sistemas de IA, así como al proceso de notificación e información posterior a sus damnificados.

En este sentido, resultará esencial la auditabilidad de los sistemas de IA, pues no cabe esperar que cada ciudadano comprenda en toda su extensión el funcionamiento y los efectos de los algoritmos. Será fundamental configurar un sistema de certificación de sellos de calidad de los sistemas de IA, como ocurre en el sector sanitario o alimentario.

Tal y como exponen las Directrices y otros informes de las instituciones europeas (p. ej., el informe sobre la era digital de la IA), la estandarización y la certificación serán elementos que contribuirán a garantizar la fiabilidad de la IA. Precisamente el Reglamento de IA se refiere a los sistemas de gestión, procedimientos y criterios de la calidad que habrán de cumplir los algoritmos, en sus arts. 10 y 17 y anexo VII.

Otros aspectos relevantes traídos a colación por el art. 23 de la Ley 15/2022 son el diseño y los datos de entrenamiento de los algoritmos, así como, la realización de evaluaciones de impacto para determinar sus sesgos discriminatorios (véase el Apartado XVIII punto 7 de la Carta). Ahora bien, ¿se trata de una evaluación de impacto sobre el cumplimiento del principio de no discriminación? Aún con la incógnita de su contenido, lo que parece desprenderse del art. 23 es que se seguirá la misma lógica y procedimiento que en las evaluaciones de impacto de protección de datos del art. 35 del Reglamento General de Protección de Datos. Sobre los datos usados para entrenar los sistemas de IA y sus redes neuronales, el art. 10 Reglamento de IA explicita los requisitos para su utilización. Entre otros, su carácter pertinente y representativo, completo y carente de errores, teniendo en cuenta, además, en función de su finalidad prevista, las características o elementos particulares del contexto geográfico, conductual o funcional específico en el que se pretende utilizar el sistema de IA de alto riesgo.

En conclusión, el art. 23 de la Ley 15/2022 resulta novedoso ya que incorpora al ordenamiento jurídico español algunos de los principios contemplados en la literatura jurídica en torno a la IA. No obstante, la siguiente tarea del legislador será la más compleja, ya que consistirá en proporcionar mecanismos jurídicos efectivos para que dichos principios se materialicen en normas, acciones y prácticas concretas que sirvan para garantizar, ponderar y equilibrar los derechos, tanto de los ciudadanos como del resto de actores que participen en la era de la gestión masiva de datos, la IA y los entornos inmersivos en los que muy pronto interactuaremos.