“BIASES”, DISCRIMINACIÓN Y ANÁLISIS DE RIESGOS: ¿TIENEN LOS ALGORITMOS PREJUICIOS ELECTRÓNICOS? (I)
Por María Luisa González Tapia
El análisis de riesgos como garantía de los derechos y libertades de los afectados
En España, con el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016 (“RGPD” o “Reglamento general de protección de datos”) se inicia la aplicación de una generación de normas que intentan mantener un balance entre tecnología e innovación, por un lado, y derechos y libertades de los ciudadanos, por otro.
Por ello, el RGPD no se puede entender ni interpretar aisladamente, sino en el contexto del resto de regulaciones relacionadas con asuntos digitales que se han aprobado recientemente o se están ahora en trámite de elaboración en la Unión Europea, como la Ley de Servicios Digitales o el futuro Reglamento de Inteligencia Artificial. Se trata de un conjunto de normas que pretenden ser el “gold standard” para el resto del mundo y que intentan mantener ese balance mencionado entre avance tecnológico y derechos fundamentales. El balance, eso sí, no lo hace el legislador, sino que se traslada la obligación de llevarlo a cabo al sujeto obligado por la norma, al responsable del tratamiento en el caso del RGPD, a través de un análisis de riesgos.
Por lo que respecta al RGPD, esto significa en la práctica que no contamos con un listado concreto y tasado de obligaciones (ni en lo que se refiere a medida de seguridad ni en otros aspectos). Se establecen principios generales y obligaciones básicas. El resto de las medidas aplicables dependerán de las circunstancias del tratamiento.
Todos entendemos que cumplir adecuadamente con el RGPD no significa tener un registro de actividades del tratamiento, una cláusula informativa y un modelo de contrato de encargo. Es algo más. Esas medidas adicionales las debe determinar el responsable del tratamiento a través de un balance con los derechos y libertades de los ciudadanos. De esta forma, resulta necesario analizar (y probar que así lo hemos hecho, porque rige el Principio de “Accountability”) que el tratamiento que se quiere implantar no afecta negativamente a ningún derecho o libertad de los titulares de los datos. Por supuesto, también debemos aplicar controles mitigadores de las amenazas que detectemos.
A diferencia de otros análisis de riesgos que se puedan llevar a cabo en el contexto empresarial, evaluar riesgos en el RGPD significa valorar cómo afecta el tratamiento a todos los derechos y libertades del titular de los datos, no determinar en qué medida la empresa puede ser multada o sancionada y reducir la posibilidad de que esto ocurra o el impacto de una multa.
En función del resultado del análisis de riesgos realizado, adoptaremos distintas medidas. No hay un catálogo fijo. Las “medidas estrella” son las políticas de protección de datos a las que se refiere expresamente el artículo 24 del RGPD, pero no tenemos indicación de cuántas políticas debemos redactar o sobre qué materias. En definitiva, se trata de un sistema mucho más flexible que el impuesto por el anterior marco normativo, pero también más difuso en infinitamente casuístico. Así, por ejemplo, si nos preguntamos qué significa cumplir con el artículo 25 del RGPD, esto es, con el principio de “Privacy by Design”, deberemos responder que implicas cosas distintas en contextos diferentes.
En el caso del PS/00070/2019[1] (por el que se impone una multa de 1.184.000 al BBVA), significa haber previsto la posibilidad de que a una anciana le roben el móvil en una residencia y utilicen su identidad para contratar préstamos y perpetrar otros fraudes. En cambio, en el PS/00120/2021[2] (a través del que se multa MERCADONA con 2,5 millones de euros), el incumplimiento del principio de “Privacy by Design” se define por haber implantado un mecanismo excesivamente intrusivo y no necesario, que, además, podría haber sido burlado con la utilización de una simple máscara.
De acuerdo con lo anterior, teniendo claro que debemos llevar a cabo un balance con los derechos de los afectados cuando iniciemos un tratamiento, el objeto de esta serie de posts consiste en ofrecer una visión general de cómo pueden afectar negativamente algoritmos y modelos de Inteligencia Artificial que utilicemos en nuestros procesos a un único derecho de los afectados, el derecho a la igualdad o el derecho a la no discriminación.
Prejuicios Electrónicos: ¿Qué son los “biases”?
Se conocen como “biases” o “sesgos” los efectos distorsionadores en el desarrollo y uso de la Inteligencia Artificial que producen resultados sistemáticamente discriminatorios por suposiciones erróneas.
Empezamos ya a ver algunos ejemplos publicados en prensa de este tipo de resultados. En Holanda, se acusó falsamente a distintas familias de inmigrantes de haber obtenido beneficios sociales de forma fraudulenta basándose en las conclusiones erróneas de un algoritmo. El sistema biométrico de inteligencia artificial utilizado por Uber para identificar a sus conductores, aparentemente, demuestra un mayor porcentaje de error con las personas de raza negra, lo que ha dado lugar a distintos perjuicios para conductores que no fueron reconocidos por el mismo. También ha sido muy comentado el algoritmo de Google que etiqueta como gorilas a personas de color. Incluso tenemos un documental (actualmente disponible en Netflix) sobre cómo algunos sistemas reconocimiento facial reconocen unas razas y no otras: “Sesgo Codificado”.
Entre las causas más comunes de estos sesgos se encuentran las siguientes:
1. Utilización de datos de entrenamiento suficientes o inadecuados. La falta de calidad de los datos puede dar lugar a la generación de algoritmos y modelos de Inteligencia Artificial sesgados:
-Datos que no incluyen información sobre minorías religiosas o étnicas.
-Datos con una desviación de género (por ejemplo, sólo incluyen información sobre hombres).
-Datos antiguos que no obedecen a la realidad social actual.
-Datos inexactos o incorrectos por falta de información de base (por ejemplo, no se dispone de información suficiente sobre violaciones cometidas en un país concreto porque no son denunciados por las víctimas o no se dispone de información fiable sobre ingresos obtenidos por profesionales o autónomos porque no los declaran).
Como se suele decir, los algoritmos son tan buenos como los datos utilizados para desarrollarlos.
2. El denominado “feedback loop”. Las predicciones efectuadas por un sistema influencian o determinan los datos que actualizan el propio sistema. Por ejemplo, si se determina que un área de una ciudad tiene una mayor proporción que otras de delitos violentos y se envía refuerzo policial a esa zona, es posible que, en lugar de descender los crímenes registrados, éstos aumenten y por consiguiente el sistema siga considerando el área como peligrosa.
3. Los propios prejuicios del equipo desarrollador, traslados al algoritmo consciente o inconscientemente. La percepción subjetiva de los equipos de trabajo influencia el enfoque de los sistemas que desarrollan.
Por ejemplo, un modelo de selección de candidatos a puestos de trabajo puede favorecer inconscientemente a los hombres frente a las mujeres haciendo que obtengan mejor puntuación los curricula que incluyen palabras como “ambición” o “proactividad”, que parece que son más frecuentes en la descripción de candidatos masculinos. Igualmente, en la creación de imágenes sintéticas se refleja la idea preconcebida que los desarrolladores pueden tener de una profesión: Así, se puede dar lugar a que cuando se genere artificialmente la imagen de un profesional de la enfermería éste sea una mujer y cuando se genere el prototipo de médico éste sea hombre.
En este caso, también se podría decir que los algoritmos son tan buenos como las personas que han trabajado en ellos.
4. Efectos indeseados no previstos debidos a errores técnicos. En muchas ocasiones, los sesos son el resultado de simples errores. Sin pretenderlo ni estar condicionado subconscientemente por ningún tipo de prejuicio, el ser humano se equivoca. Los desarrolladores de sistemas de Inteligencia Artificial no son perfectos.
Por supuesto, existen otras causas que pueden dar lugar a sesgos en algoritmos y modelos, pero probablemente las anteriores, sean las más comunes.
En los siguientes posts de esta serie, analizaremos algunas medidas correctoras que pueden implantarse para prevenir sesgos; la importancia de las olvidadas (y sistemáticamente incumplidas) directrices del Grupo de Trabajo del Artículo 29 sobre decisiones automatizadas y perfilado, y la relevancia práctica que podría tener en este contexto el artículo 82 del RGPD.
[1] La Agencia Española de Protección de datos señala, entre otras cosas, lo siguiente:
“Analizada toda la documentación aportada, en las distintas fases de este procedimiento, por BBVA, se observa que esta entidad no cumplía con el principio de privacidad desde el diseño. En primer lugar, no existía un análisis de riesgos adecuado. Ni uno solo de los documentos aportados abordaba el riesgo derivado de la pérdida o sustracción de determinada documentación identificativa, (o los métodos o dispositivos para el acceso a su banca online) al quedar al descubierto los datos personales que permiten la contratación a distancia de productos financieros. (…)
Los documentos aportados no contienen ningún análisis de este riesgo y, con ello, no arbitraban medidas técnicas u organizativas que podrían evitar la lesión del derecho fundamental a la protección de datos e, indirectamente con él, los bienes y derechos patrimoniales de que son titulares los clientes de la entidad bancaria. Por el contrario, estos documentos se centran en la evitación de riesgos esencialmente para la propia entidad. Abordan riesgos tecnológicos, organizacionales o de negocio que pueden concluir en un perjuicio patrimonial para el banco. (…)
Derivado de las actuaciones de inspección llevadas a cabo por esta Agencia, así como del resto de documentación y alegaciones presentadas por BBVA en este procedimiento, ha podido constatarse que dicho principio (y en consecuencia el artículo 25 del RGPD) no se cumplían por la entidad bancaria. No existía un análisis de riesgo que hubiera identificado el riesgo de contrataciones mediante suplantación cuando algún cliente extraviara y le fuera sustraída su documentación identificativa o su teléfono móvil”.
[2] En el procedimiento mencionado establece que:
“En el tratamiento de datos personales biométricos ahora analizado, sin perjuicio de lo señalado en los Hechos probado Primero y Segundo, no consta acreditado que desde el diseño se hayan establecido las salvaguardas en orden a garantizar las libertades y derechos de todos los afectados, conforme señala el art. 25.1 del RGPD (…).
En el supuesto examinado el sistema de reconocimiento facial puede ser útil, mas no necesario, ya que no siendo el único con el que se puede lograr la finalidad pretendida al existir múltiples alternativas, sí es el único que puede producir una injerencia devastadora en los derechos y libertades de los ciudadanos. En consecuencia, se insiste, está prohibido.
En este mismo sentido se manifiesta el SEPD, en un artículo el 28 de octubre de 2019 titulado “Facial Recognition: A solution in search of a problem?” abordando este tipo de tratamientos. Así, requiere que el tratamiento mediante reconocimiento facial sea “demostrablemente necesario”, esto es, objetivamente necesario y que no existan otros medios alternativos menos intrusivos mediante los cuales se obtenga el mismo objetivo y señala expresamente que “la eficiencia y conveniencia no constituyen suficiente justificación”. (Recuperado el 22 de febrero de 2020 de https://edps.europa.eu/presspublications/press-news/blog/facial-recognition-solution-search-problem_en.).
Pero es que, además, a mayor abundamiento y, a los efectos meramente ilustrativos, no podemos soslayar el hecho de que el condenado puede burlar con facilidad el sistema de reconocimiento facial con una simple máscara -como se explica en la nota de la AEPD sobre los “14 equívocos con relación a la identificación y autenticación biométrica”, con lo que, podría pasar que implantado el sistema éste no fuera, además, ni útil ni efectivo para la finalidad pretendida por el supermercado.
Aquí, el principio de intervención mínima entra en juego (art. 5.1.c) y art. 25.1 RGPD), porque, además, se tiene que acreditar que no hay otra medida más moderada para la consecución de la finalidad pretendida con igual eficacia, en el marco de la responsabilidad proactiva del responsable del tratamiento (…)”.
