Llevamos ya unos pocos a\u00f1os hablando de la inteligencia artificial y es la hora de su regulaci\u00f3n y de comenzar a interpretarla y aplicarla. Y en esto, las administraciones p\u00fablicas deber\u00edan ser las primeras en conocer la ley europea una vez sea publicada y en dar ejemplo, estando obligadas a ello.<\/p>\n\n\n\n
As\u00ed, con la aprobaci\u00f3n por el Parlamento Europeo quedar\u00e1n prohibidos definitivamente los \u201csistemas de IA para realizar evaluaciones de riesgo <\/strong>de personas f\u00edsicas o grupos de personas f\u00edsicas con el fin de evaluar el riesgo de una persona f\u00edsica de delinquir o reincidir o para predecir la ocurrencia o reincidencia de una infracci\u00f3n penal o administrativa real o potencial basada en la elaboraci\u00f3n de perfiles de una persona f\u00edsica o en la evaluaci\u00f3n de rasgos y caracter\u00edsticas de la personalidad, incluida la ubicaci\u00f3n de la persona, o del comportamiento delictivo pasado de personas f\u00edsicas o grupos de personas f\u00edsicas<\/strong>\u201d<\/em><\/a><\/p>\n\n\n\n Por lo tanto, no s\u00f3lo es que administraciones p\u00fablicas deben comenzar a revisar sus sistemas y publicar los algoritmos, algo que no han hecho ni con VioG\u00e8n, ni con Veripol, ni con RisCanvi en Catalu\u00f1a, los cuales carecen de una m\u00ednima transparencia o m\u00ednima auditoria del sistema de predicci\u00f3n de riesgo de violencia de g\u00e9nero considera que la calidad de los datos es mejorable o presenta sesgos y discriminaciones. De igual manera, hasta que no lo public\u00f3 El Confidencial[i]<\/u><\/a>[ii]<\/a> se desconoc\u00eda que la Seguridad Social usaba un algoritmo secreto para \u201ccazar\u201d posibles fraudes en bajas laborales. De la misma forma, ya est\u00e1n saliendo las primeras informaciones que la Agencia Tributaria se espera comience a utilizar nuevas herramientas basadas en IA para el an\u00e1lisis de datos que permitan hacer un control m\u00e1s eficiente de los datos y de esa manera detectar quienes cumplen y quienes no, con el pago de los impuestos que les corresponden[iii]<\/a>.<\/p>\n\n\n\n Desde Hacienda ya est\u00e1n dando los primeros pasos en este sentido con el sistema de vigilancia que permite actualmente, detectar el fraude fiscal y tambi\u00e9n prevenirlo, ayudando en esta tarea a los inspectores.<\/p>\n\n\n\n O BOSCO[iv]<\/a>, un software que utiliza el Gobierno, de algoritmo igualmente secreto, que las el\u00e9ctricas utilizan para decidir qui\u00e9n es beneficiario del denominado bono social el\u00e9ctrico y que se ha denunciado que adem\u00e1s de su opacidad tiene fallos y sesgos.<\/p>\n\n\n\n A tenor de ello, directamente estos sistemas -seg\u00fan la \u00faltima versi\u00f3n del Reglamento Europeo (si \u00e9sta se mantiene)- el primer d\u00eda de su entrada en vigor deber\u00edan dejar de utilizarse por el Gobierno espa\u00f1ol. <\/p>\n\n\n\n El ejecutivo holand\u00e9s utilizaba el algoritmo SyRI para detectar diversas formas de fraude, incluidos los beneficios sociales, las asignaciones y el fraude fiscal, y en 2020 el Tribunal de Distrito de La Haya declar\u00f3 que este sistema violaba los derechos humanos. Este sistema Systeem Risico Indicatie, SyRI<\/em>,<\/strong> que significa \u00abindicaci\u00f3n de riesgo del sistema\u00bb), pretend\u00eda prevenir y combatir el fraude, a trav\u00e9s de identificar \u00abperfiles de ciudadanos poco probables\u00bb que requirieran un examen m\u00e1s detenido. El sistema se basaba en la asignaci\u00f3n del nivel de riesgo de que una determinada persona cometa fraude a los ingresos p\u00fablicos, en funci\u00f3n de una serie de par\u00e1metros analizados y relacionados entre s\u00ed.<\/p>\n\n\n\n Si un organismo p\u00fablico (por ejemplo, los ayuntamientos, el banco de la Seguridad Social o la Agencia Tributaria) detectaba fraude con prestaciones, subsidios o impuestos en un barrio determinado, pod\u00eda utilizar SyRI. SyRI determinaba qu\u00e9 residentes locales merec\u00edan una investigaci\u00f3n m\u00e1s a fondo. Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. La aplicaci\u00f3n procesaba datos personales pseudoanonimizados, de todo tipo sobre el individuo, incluidos datos de endeudamiento, antecedentes penales, salud, etc. y de ella se extra\u00edan una serie de conclusiones sobre el nivel de riesgo de la persona[v]<\/a>. Esos datos se comparan luego con el perfil de riesgo creado a partir de la informaci\u00f3n de otros ciudadanos que s\u00ed han delinquido. Observadas las similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos a\u00f1os.<\/p>\n\n\n\n En 2020, el Tribunal de La Haya[vi]<\/a> orden\u00f3 la paralizaci\u00f3n inmediata de SyRI, al concluir que la legislaci\u00f3n por la que se establec\u00eda SyRI proporcionaba una protecci\u00f3n insuficiente contra la intromisi\u00f3n en la vida privada, debido a las medidas desproporcionadas adoptadas para prevenir y castigar el fraude en aras del bienestar econ\u00f3mico. El tribunal concluy\u00f3 que SyRI violaba el art\u00edculo 8 del Convenio Europeo de Derechos Humanos (CEDH), que protege el derecho al respeto de la vida privada y familiar[vii]<\/a> por ausencia de proporcionalidad y transparencia.<\/p>\n\n\n\n En el caso de Bosco, este programa es utilizado por el Ministerio para la Transici\u00f3n Ecol\u00f3gica, al objeto de reconocer o no el derecho al bono social.<\/p>\n\n\n\n Seg\u00fan el juzgado \u201cno puede considerarse que el acto administrativo se dicte por una aplicaci\u00f3n inform\u00e1tica, sino por un \u00f3rgano administrativo, y en caso de que el destinatario de dicho acto est\u00e9 disconforme con el mismo, podr\u00e1 impugnarlo en v\u00eda administrativa\u201d<\/em><\/p>\n\n\n\n Y se deniega el acceso al c\u00f3digo fuente con base en el Informe t\u00e9cnico Subdirector General de Tecnolog\u00edas de la Informaci\u00f3n y de las Comunicaciones del Ministerio de Industria, Comercio y Turismo<\/p>\n\n\n\n Por ello, se desestim\u00f3 el recurso interpuesto, si bien la sentencia se encuentra apelada y a expensas de resoluci\u00f3n.<\/p>\n\n\n\n A este respecto, nos preguntamos c\u00f3mo afectar\u00e1 la nueva normativa de Ley 15\/2022, de 12 de julio, integral para la igualdad de trato y la no discriminaci\u00f3n a la resoluci\u00f3n del recurso, seg\u00fan el cual, en su art\u00edculo 23: [\u2026] las administraciones p\u00fablicas favorecer\u00e1n la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones p\u00fablicas tengan en cuenta criterios de minimizaci\u00f3n de sesgos, transparencia y rendici\u00f3n de cuentas, siempre que sea factible t\u00e9cnicamente. En estos mecanismos se incluir\u00e1n su dise\u00f1o y datos de entrenamiento, y abordar\u00e1n su potencial impacto discriminatorio. Para lograr este fin, se promover\u00e1 la realizaci\u00f3n de evaluaciones de impacto que determinen el posible sesgo discriminatorio.<\/em><\/p>\n\n\n\n 2. Las administraciones p\u00fablicas, en el marco de sus competencias en el \u00e1mbito de los algoritmos involucrados en procesos de toma de decisiones, priorizar\u00e1n la transparencia en el dise\u00f1o y la implementaci\u00f3n y la capacidad de interpretaci\u00f3n de las decisiones adoptadas por los mismos.<\/em><\/p>\n\n\n\n 3. Las administraciones p\u00fablicas y las empresas promover\u00e1n el uso de una Inteligencia Artificial \u00e9tica, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Uni\u00f3n Europea en este sentido.<\/em><\/p>\n\n\n\n 4. Se promover\u00e1 un sello de calidad de los algoritmos.<\/em><\/p>\n\n\n\n Al igual que el Reglamento Europeo de inteligencia artificial seg\u00fan el cual, en su art. 4 bis, en cuanto a la \u00abTransparencia\u00bb, \u201clos sistemas de IA se desarrollar\u00e1n y utilizar\u00e1n facilitando una trazabilidad y explicabilidad adecuadas, haciendo que las personas sean conscientes de que se comunican o interact\u00faan con un sistema de IA, informando debidamente a los usuarios sobre las capacidades y limitaciones de dicho sistema de IA e informando a las personas afectadas de sus derechos\u201d.<\/em><\/p>\n\n\n\n O por ejemplo en su Art. 13 apartado 1\u00ba: la transparencia significar\u00e1 que, en el momento de la introducci\u00f3n en el mercado del sistema de IA de alto riesgo, se utilizar\u00e1n todos los medios t\u00e9cnicos disponibles de conformidad con el estado actual de la t\u00e9cnica generalmente reconocido para garantizar que el proveedor y el usuario puedan interpretar la informaci\u00f3n de salida del sistema de IA de alto riesgo. El usuario de estar capacitado para comprender y utilizar adecuadamente el sistema de IA sabiendo, en general, c\u00f3mo funciona el sistema de IA y qu\u00e9 datos trata, lo que le permitir\u00e1 explicar las decisiones adoptadas por el sistema de IA a la persona afectada de conformidad con el art\u00edculo 68, letra c).<\/em><\/p>\n\n\n\n En el orden social<\/strong>, CASTILLO PARRILLA aborda la discriminaci\u00f3n a trav\u00e9s del algoritmo en una plataforma con el an\u00e1lisis de la sentencia del caso Deliveroo Bolonia y sus implicaciones para el sector p\u00fablico[viii]<\/a>. Unos sindicatos demandan a Deliveroo Italia SRL<\/em><\/strong>, una de las principales plataformas de env\u00edo de comida a domicilio, por discriminaci\u00f3n en las condiciones de acceso al trabajo por parte de los riders. Esta sentencia, viene a superar a la de Uber de la Corte Suprema del Reino Unido, porque no s\u00f3lo analiza la existencia de una relaci\u00f3n laboral de los riders sino que adem\u00e1s entra en el an\u00e1lisis de la posible discriminaci\u00f3n del algoritmo respecto a las condiciones de acceso a las sesiones de trabajo por los repartidores y en particular de los par\u00e1metros de tratamiento del llamado \u201cranking reputacional\u201d.<\/p>\n\n\n\n As\u00ed, el algoritmo no permitir\u00eda las ausencias al trabajo por motivos de huelga, enfermedad, o por ejemplo cuidado de familiares o hijos, de tal manera que estar\u00eda impidiendo en la pr\u00e1ctica el ejercicio de derechos, permisos y licencias reconocidos legalmente. El c\u00f3digo se convierte en la ley como dice LESSIG[ix]<\/a>. Dice el tribunal de Bolonia, que Deliveroo no sabe y no quiere saber los motivos por los que el corredor cancela su reserva o no participa en una sesi\u00f3n reservada y no cancelada. Pero es precisamente en esta \u00abinconsciencia\u00bb (como lo define Deliveroo) y \u00abceguera\u00bb (como lo definen los solicitantes) del programa de procesamiento de estad\u00edsticas de cada corredor que alberga el potencial discriminatorio del mismo.<\/p>\n\n\n\n En materia de responsabilidad civil,<\/strong> ya han existido m\u00faltiples accidentes con veh\u00edculos auton\u00f3mos o robots, incluso con resultado de muerte [x]<\/a> [xi]<\/a> [xii]<\/a> [xiii]<\/a> [xiv]<\/a>. Es m\u00e1s, algunos estudios[xv]<\/a> revelan un n\u00famero que si bien no es masivo, y ni siquiera importante si se comparan con por ejemplo el n\u00famero de veh\u00edculos Tesla que se venden al a\u00f1o, o el n\u00famero de accidentes de la seguridad vial, pero s\u00ed es relevante porque ha supuesto 17 vidas y por la necesidad de regular una nueva responsabilidad civil sobre qui\u00e9n responde e indemniza en caso de accidente de un veh\u00edculo aut\u00f3nomo. Por lo que lamentablemente los juzgados de Primera Instancia seguir\u00e1n recibiendo demandas de responsabilidad civil extracontractual por da\u00f1os de tr\u00e1fico, pero esta vez con un coche aut\u00f3mata.<\/p>\n\n\n\n El Proyecto Detecci\u00f3n (Senging, <\/em><\/strong>en ingl\u00e9s) est\u00e1 dise\u00f1ado para prevenir y detectar delitos contra la propiedad cometidos por lo que se conoce como \u201cbandidaje m\u00f3vil\u201d en la localidad de Roermond.<\/p>\n\n\n\n El Tribunal Supremo de Holanda (Hoge Raad)[xvi]<\/a> ha establecido que este proyecto que produce paradas y controles preventivos se\u00f1alando sus coches por matr\u00edculas de pa\u00edses de Europa del Este supone una distinci\u00f3n basada en la nacionalidad o el origen \u00e9tnico de los pasajeros, lo cual es un tratamiento desigual o discriminatorio, cuando no hay ninguna raz\u00f3n objetiva para parar el coche, aparte de coincidir con el perfil de nacionalidad.<\/p>\n\n\n\n Otros casos relativos al \u00e1mbito policial eran la plataforma para el \u201can\u00e1lisis\u201d de datos (Hesse, plataforma \u201chessenDATA\u201d) o una \u201cevaluaci\u00f3n\u201d de datos (Hamburgo)<\/em><\/strong> por la polic\u00eda de ambos territorios y que fueron declarados inconstitucionales por la Primera C\u00e1mara del Tribunal Constitucional Federal en sentencia de 16 de febrero de 2023 (1 BvR 1547\/19, 1 BvR 2634\/20[xvii]<\/a>).<\/p>\n\n\n\n En Espa\u00f1a, el sistema VioG\u00e8n <\/em><\/strong>tiene en cuenta a efectos de evaluaci\u00f3n e incremento del riesgo, que la v\u00edctima sea extranjera, teniendo en cuenta su origen o su nacionalidad, y su procedencia cultural. As\u00ed, se desconocen qu\u00e9 nacionalidades, or\u00edgenes o procedencias culturales se catalogan como arraigados valores sexistas y qu\u00e9 estudios los justifican como tal, en cuanto que podr\u00eda producirse un sesgo racista. Si bien se tratar\u00eda de un indicador de la v\u00edctima, lo cierto es que se entiende que ser\u00e1 m\u00e1s posible que v\u00edctima y agresor sean de la misma nacionalidad y origen.<\/p>\n\n\n\n Debemos recordar que por ejemplo el programa HART habr\u00eda desarrollado un sesgo aporof\u00f3bico[xviii]<\/a>, aumentando el notablemente el riesgo en relaci\u00f3n a las personas de bajos recursos econ\u00f3micos. Sesgo que se intent\u00f3 corregir por sus desarrolladores eliminando como par\u00e1metros el c\u00f3digo postal evitando con ello que residir en determinadas zonas depauperadas supusiera un factor relevante.\u2006O que por ejemplo PredPol, <\/em>habr\u00eda sido modificado porque asignaba una dotaci\u00f3n policial excesiva en los barrios en los que proliferaban las comunidades de color o de escasos recursos econ\u00f3micos.<\/p>\n\n\n\n Sin poder realizar una auditor\u00eda en profundidad del sistema VioG\u00e9n, s\u00ed que podemos apreciar que son indicadores que suponen un aumento de la valoraci\u00f3n del riesgo policial de reincidencia en materia de violencia de g\u00e9nero, ser menor de 24 a\u00f1os, que la v\u00edctima sea extranjera y que el autor tenga deudas o haya sido despedido de su empleo. Posteriormente veremos que estos indicadores pueden ser justificables, pero consideramos que se hace necesaria una auditor\u00eda externa, completa y transparente del sistema de tal manera que sea explicable.<\/p>\n\n\n\n Recientemente, s\u00ed que se ha auditado el sistema VioG\u00e9n por Eticas Foundation y en colaboraci\u00f3n con Fundaci\u00f3n Ana Bella, Red de Mujeres Supervivientes[xix]<\/a>.<\/p>\n\n\n\n La auditor\u00eda habr\u00eda apreciado indiciariamente un importante sesgo en el rendimiento del sistema VioG\u00e9n a nivel agregado, ya que no se habr\u00eda estudiado si el sistema se comporta de forma diferente para los distintos grupos de mujeres seg\u00fan su edad, origen o si tienen hijos o no. En este estudio, se ha llevado a cabo un an\u00e1lisis estratificado de los casos de IPH entre diferentes categor\u00edas de mujeres con el prop\u00f3sito de indagar sobre los tipos de vulnerabilidad que podr\u00eda producir y aplicar el sistema. Al hacerlo, Eticas comprob\u00f3 que a las mujeres sin hijos se les asigna sistem\u00e1ticamente una puntuaci\u00f3n de riesgo menor que a las mujeres con hijos. Y lo mismo deber\u00eda hacerse con VioG\u00e9n, para comprender mejor c\u00f3mo se calibra y si se tienen en cuenta las disparidades entre los grupos protegidos.<\/p>\n\n\n\n Asimismo, sostiene el estudio que habr\u00eda que revisar la raz\u00f3n de por qu\u00e9 el 45% de los casos reciben la puntuaci\u00f3n de \u00absin riesgo\u00bb y que quiz\u00e1s se est\u00e9 infraevaluando la violencia psicol\u00f3gica y las nuevas formas de violencia y acoso a trav\u00e9s de redes sociales.<\/p>\n\n\n\n En la conclusi\u00f3n de auditor\u00eda se fundamenta que para los sistemas de toma de decisiones altamente automatizados y financiados con fondos p\u00fablicos, de enorme impacto social como VioG\u00e9n (que, en algunos casos, toma decisiones de vida o muerte), deber\u00edan exigirse por ley auditor\u00edas independientes. Que el sistema no es transparente, y que la mayor parte de los estudios sobre VioG\u00e9n han sido realizados por los mismos investigadores que contribuyeron a su desarrollo (L\u00f3pez-Ossorio et al., 2019; L\u00f3pez-Ossorio, Gonz\u00e1lez-\u00c1lvarez, et al., 2020), y por personas que trabajan o que tienen intereses particulares en el ministerio y las fuerzas policiales. Que existe una ausencia de rendici\u00f3n de cuentas a efectos de responsabilidad y falta de participaci\u00f3n de las poblaciones afectadas. De las entrevistas con v\u00edctimas y abogados, las primeras en un 48% evaluaron negativamente el sistema, y los 7 abogados muestran poca confianza en el algoritmo.<\/p>\n\n\n\n As\u00ed, la auditora muestras sus \u201c<\/em>preocupaciones en relaci<\/em>\u00f3<\/em>n con la transparencia, la supervisi<\/em>\u00f3<\/em>n independiente, la rendici<\/em>\u00f3<\/em>n de cuentas, la participaci<\/em>\u00f3<\/em>n de los usuarios finales y la transici<\/em>\u00f3<\/em>n al Machine Learning<\/em>\u201d<\/em>. <\/em>En cuanto que en los \u00faltimos tiempos habr\u00eda sido valorada la posibilidad de incorporar al sistema VioG\u00e9n un algoritmo de aprendizaje autom\u00e1tico, basado en la t\u00e9cnica de Nearest Centroid para la clasificaci\u00f3n -o un modelo h\u00edbrido que implemente una mezcla estoc\u00e1stica del sistema actual y de Nearest Centroid-, seg\u00fan el informe y para ello deber\u00eda plantearse un debate p\u00fablico y abierto sobre este proceso.<\/p>\n\n\n\n Por \u00faltimo, la auditor\u00eda destaca que \u201cVioG<\/em>\u00e9<\/em>n es, en la pr<\/em>\u00e1<\/em>ctica, un sistema automatizado con una supervisi<\/em>\u00f3<\/em>n humana m<\/em>\u00ed<\/em>nima e inconsistente<\/em>\u201d<\/em>.<\/em><\/p>\n\n\n\n Gemma Gald\u00f3n, en la entrevista realizada por DIGITAL FUTURE SOCIETY refiere lo crucial de que sepamos c\u00f3mo se toman las decisiones automatizadas en el \u00e1mbito p\u00fablico, y considera que dentro de 5 a\u00f1os miraremos atr\u00e1s y nos tiraremos de los pelos de c\u00f3mo implement\u00e1bamos algoritmos de IA sin auditar, porque la opacidad del sistema es una irresponsabilidad. Si un sistema, como por ejemplo VioG\u00e9n falla, y se producen muertes de v\u00edctimas con una predicci\u00f3n de riesgo bajo o inexistente o no apreciado, no sabemos por qu\u00e9.<\/p>\n\n\n\n De igual manera, el proyecto RisCanvi<\/em>[xx]<\/a> est\u00e1 dise\u00f1ado para dar respuesta a la evaluaci\u00f3n y gesti\u00f3n del riesgo de todo el conjunto de la poblaci\u00f3n penitenciaria catalana (centros penitenciarios de r\u00e9gimen ordinario y abierto y liberados condicionales).<\/p>\n\n\n\n El propio documento de Instituciones Penitenciarias catalanas reconoce que la evaluaci\u00f3n y valoraci\u00f3n del riesgo es la primera y una de las partes fundamentales del proyecto RisCanvi.<\/p>\n\n\n\n All\u00e1 por 2020 en el Caso Edward BRIDGES v. South Wales Police<\/em><\/strong>[xxi]<\/a>,<\/em><\/strong> Ed Bridges fue el primero que desafi\u00f3 al uso p\u00fablico del reconocimiento facial en vivo o a tiempo real por parte de la polic\u00eda de Gales del Sur, alegando que estaba violando los derechos a la privacidad, las leyes de protecci\u00f3n de datos y las leyes de igualdad.<\/p>\n\n\n\n La intenci\u00f3n de Polic\u00eda del Sur de Gales durante cada implementaci\u00f3n es permitir que AFR Locate procese a tantas personas como sea posible. Est\u00e1 claro que el n\u00famero de personas procesadas es muy grande. Durante los 50 despliegues que se llevaron a cabo en 2017 y 2018, es posible que se hayan escaneado alrededor de 500 000 rostros. La gran mayor\u00eda de las personas cuyos datos biom\u00e9tricos son capturados y procesados por SWP utilizando AFR Locate no son sospechosas de ning\u00fan delito, no son de inter\u00e9s para la polic\u00eda y se habr\u00eda obtenido sin su consentimiento (16).<\/p>\n\n\n\n En agosto de 2020, el Tribunal de Apelaci\u00f3n revoc\u00f3 la decisi\u00f3n de septiembre de 2019 del Tribunal Superior y consider\u00f3 que el uso de la tecnolog\u00eda de reconocimiento facial por parte de la Polic\u00eda de Gales del Sur infringe los derechos de privacidad, las leyes de protecci\u00f3n de datos y las leyes de igualdad debido a \u201cdeficiencias fundamentales\u201d en el marco legal.<\/p>\n\n\n\n En cuanto al marco legal suficiente, se considera una excesiva discrecionalidad. Asimismo, se considera que la DPIA (Data Protection Impact Assestment, evaluaci\u00f3n de impacto de protecci\u00f3n de datos) no conten\u00eda una evaluaci\u00f3n de la privacidad (evaluaci\u00f3n de impacto, evaluaci\u00f3n de riesgos y mitigaci\u00f3n de los mismos), los datos personales y las garant\u00edas.<\/p>\n\n\n\n De igual manera, en el Reglamento futuro europeo quedan prohibidos los sistemas de reconocimiento facial y biom\u00e9trico a tiempo real no selectivos, pero se permiten si se utiliza a posteriori previa resoluci\u00f3n judicial para an\u00e1lisis de im\u00e1genes obtenidas.<\/p>\n\n\n\n As\u00ed, el sistema ABIS<\/strong>, siglas en ingl\u00e9s que responden a \u00absistema autom\u00e1tico de identificaci\u00f3n biom\u00e9trica\u00bb, que est\u00e1 entrenando el Ministerio del Interior y que adem\u00e1s no ha consultado previamente a la AEPD, lo primero que deber\u00e1 hacer ser\u00e1 adaptarse a los requisitos del reglamento europeo como sistema de alto riesgo. Y el legislador deber\u00e1 prever un nuevo art\u00edculo 588 nonies de la Ley de Enjuiciamiento Criminal para autorizar este tipo de sistemas.<\/p>\n\n\n\n Y por \u00faltimo, mencionar tambi\u00e9n que al parecer ya se habr\u00edan interpuesto las primeras demandas contra el revolucionario sistema Chatgpt <\/strong>de OpenAI. La primera[xxii]<\/a> se basar\u00eda en la vulneraci\u00f3n de datos personales, en cuanto que el sistema habr\u00eda \u201cescrapeado\u201d datos personales de manera no autorizada. La segunda demanda[xxiii]<\/a> habr\u00eda sido por presunta vulneraci\u00f3n de derechos de autor.<\/p>\n\n\n\n De igual manera, deberemos de estar especialmente atentos a la decisi\u00f3n del TJUE en el Asunto C-634\/21 OQ contra Land Hessen, con intervenci\u00f3n de: SCHUFA Holding AG, puesto que puede determinar la obligaci\u00f3n de suministrar informaci\u00f3n significativa sobre la l\u00f3gica aplicada, as\u00ed como la importancia y las consecuencias previstas en el caso de decisiones automatizadas, considerando \u00e9sta en el sentido de que incluya explicaciones suficientemente detalladas sobre el m\u00e9todo utilizado para el c\u00e1lculo del score y sobre las razones y factores que han conducido a un resultado determinado en la toma de decisiones y su importancia desde el punto de vista agregado a fin de poder impugnar la decisi\u00f3n. Sin que pueda acogerse a causas de secreto comercial o de propiedad intelectual, algo que nos recuerda mucho al caso Bosco.<\/p>\n\n\n\n \u00bfVeremos pronto decisiones jurisdiccionales declarando la prohibici\u00f3n de utilizaci\u00f3n de algoritmos espa\u00f1oles o la obligaci\u00f3n de las administraciones de suministrar informaci\u00f3n significativa sobre la l\u00f3gica aplicada?<\/strong> Por lo pronto, Bosco se encuentra en recurso de apelaci\u00f3n en la Sala de lo Contencioso de la Audiencia Nacional.<\/p>\n\n\n\n De igual manera, puede que comencemos a ver decisiones jurisdiccionales respecto a algoritmos privados que puedan ser discriminatorios y contrarios a la ley como en los casos de Uber, Deliveroo o una posible responsabilidad respecto a Amazon o Chatgpt.<\/p>\n\n\n\n Es decir, el camino no ha terminado con la aprobaci\u00f3n del Reglamento europeo de IA, sino que acaba de comenzar, y como veremos a continuaci\u00f3n los tribunales tendr\u00e1n mucho que decir. <\/p>\n\n\n\n [i]<\/a> JIM\u00c9NEZ ARANDIA, Pablo y M\u00c9NDEZ, Manuel \u00c1ngel. La Seguridad Social usa una IA secreta para rastrear bajas laborales y cazar fraudes. EL CONFIDENCIAL. 17 de abril 2023. Consultado el 25 de junio de 23. Disponible en: https:\/\/www.elconfidencial.com\/tecnologia\/2023-04-17\/seguridad-social-ia-inteligencia-artificial-inss-bajas-empleo-algoritmos_3611167\/#:~:text=Desde%202018%2C%20la%20Seguridad%20Social,EC%20Dise%C3%B1o<\/a>.<\/p>\n\n\n\n [ii]<\/a> JIM\u00c9NEZ ARANDIA, Pablo. Preguntas sin respuesta sobre el sistema predictivo de la Seguridad Social. EL CONFIDENCIAL. 17 de abril 2023. Consultado el 25 de junio de 23. Disponible en: https:\/\/www.elconfidencial.com\/tecnologia\/2023-04-17\/preguntas-sin-respuesta-del-sistema-predictivo-de-la-seguridad-social_3610544\/<\/a><\/p>\n\n\n\n [iii]<\/a> LENCINA, Fernanda. As\u00ed te vigila Hacienda con una poderosa Inteligencia Artificial para evitar fraudes. The Huffington Post. 2 de agosto de 2023. Consultado el 2 de agosto 2023. Disponible en: https:\/\/noticiastrabajo.huffingtonpost.es\/economia\/hacienda-te-vigila-con-inteligencia-artificial\/<\/a><\/p>\n\n\n\n [iv]<\/a> OLLERO, Daniel J. El algoritmo secreto del Gobierno que decide si te llevas una subvenci\u00f3n para la factura de la luz. EL MUNDO. 3 julio de 2019. Consultado el 25 de junio de 23. Disponible en: https:\/\/www.elmundo.es\/tecnologia\/2019\/07\/03\/5d1b89fbfc6c83a2358b46ca.html<\/a><\/p>\n\n\n\n [v]<\/a> GONZ\u00c1LEZ-ESPEJO, M. J., \u201cSector p\u00fablico y algoritmos: Transparencia o un poco m\u00e1s<\/p>\n\n\n\n de paciencia\u201d, 19-2-2020 Diario la Ley, Consultado el 25 de junio de 2023. Disponible en: https:\/\/diariolaley.laleynext.es\/Content\/Documento.aspx?params=H4sIAAAAAAAEAMtMSbH1c<\/p>\n\n\n\n zUwMDAyNDEyMTNTK0stKs7Mz7M1MjACCVqq5eWnpIa4ONuW5qWkpmXmpaaAlGSmVbrkJ<\/p>\n\n\n\n 4dUFqTapiXmFKeqpSbl52ejmBQPMwEAZnEi5GMAAAA=WKE <\/p>\n\n\n\n [vi]<\/a> Nota de prensa de la sentencia por el Poder Judicial Holand\u00e9s. Consultado el 25 de junio de 2023. Disponible en: https:\/\/www.rechtspraak.nl\/Organisatie-en-contact\/Organisatie\/Rechtbanken\/Rechtbank-Den-Haag\/Nieuws\/Paginas\/SyRI-wetgeving-in-strijd-met-het-Europees-Verdrag-voor-de-Rechten-voor-de-Mens.aspx<\/a><\/p>\n\n\n\n Sentencia Autoridad Tribunal de Distrito de La Haya 05-02-2020 ECLI:ES:RBDHA:2020:865; N\u00famero de caso C-09-550982-HA SA 18-388; En ingl\u00e9s: ECLI:NL:RBDHA:2020:1878. Consultado el 25 de junio de 2023. Disponible en: https:\/\/uitspraken.rechtspraak.nl\/#!\/details?id=ECLI:NL:RBDHA:2020:865<\/a><\/p>\n\n\n\n [vii]<\/a> DE LA ROSA Esteban, FERNANDO (Director), VERDEGAY GALDEANO Jos\u00e9 Luis, ZELEZNIKOW John, RUIZ RESA Josefa Dolores, MORAL SORIANO Leonor, FERN\u00c1NDEZ-F\u00cdGARES Mar\u00eda Jos\u00e9, VALLS PRIETO Javier, PELTA MOCHCOVSKY David Alejandro, CABRERA CUEVAS Marcelino, CASTILLO PARRILLA Jos\u00e9 Antonio, CORT\u00c9S Pablo y VILALTA NICUESA Aura Esther, Justicia Digital. Gu\u00eda para el di\u00e1logo sobre el dise\u00f1o y uso eficiente, de calidad y \u00e9tico de herramientas tecnol\u00f3gicas en la justicia civil, Madrid, Fundaci\u00f3n Cotec para la Innovaci\u00f3n – Universidad de Granada, 2022.<\/p>\n\n\n\n En el contexto de este procedimiento, el relator especial Philip Alston emiti\u00f3 un informe afirmando que tiene un efecto discriminatorio y estigmatizador. P. Alston, debido, entre otras razones, a la autoridad que se confiere a los algoritmos. \u00abBrief by the United Nations Special Rapporteur on extreme poverty and human rights as amicus curiae before the District Court of the Hague on the case of NJCM c.s.\/De Staat der Nederlanden (SyRI), case No. C\/09\/550982\/HA ZA 18\/388\u00bb, 2019, disponible en https:\/\/www.ohchr.org\/Documents\/Issues\/Poverty\/Amicusfinalversionsigned.pdf<\/a>.<\/p>\n\n\n\n [viii]<\/a> CASTILLO PARRILLA, Jos\u00e9 Antonio. La discriminaci\u00f3n a trav\u00e9s del algoritmo en una plataforma. El caso Deliveroo Bolonia y sus implicaciones para el sector p\u00fablico. 11 de marzo de 2021. Consultado el 1 de julio de 2023. Disponible en: https:\/\/www.uv.es\/catedra-pagoda\/es\/actualidad\/la-discriminacion-traves-del-algoritmo-jose-antonio-castillo-parrilla-1286053802801\/Novetat.html?id=1286182093538<\/a> Puede consultarse la sentencia aqu\u00ed, TRIBUNALE ORDINARIO di BOLOGNA Sezione Lavoro Causa n. r.g. 2949\/2019 27 de noviembre de 2020 FILCAMS CGIL BOLOGNA. NIDIL CGIL BOLOGNA, FILT CGIL BOLOGNA Contro DELIVEROO ITALIA S.R.L https:\/\/www.algoritmolegal.com\/wp-content\/uploads\/2021\/01\/Sentencia-Bologna-Italia-Deliveroo-dic-2020-Original-italiano.pdf<\/a><\/p>\n\n\n\n [ix]<\/a> LESSIG, Lawrence. El c\u00f3digo 2.0. Madrid. Proyecto editorial Traficantes de Sue\u00f1os. 2009.<\/p>\n\n\n\n [x]<\/a> Un robot mata a un t\u00e9cnico de Volkswagen en Alemania. EL PA\u00cdS. 2 julio de 2015. Consultado el 1 de julio de 2023. Disponible en: https:\/\/elpais.com\/economia\/2015\/07\/02\/actualidad\/1435838812_094380.html<\/a><\/p>\n\n\n\n [xi]<\/a> Un robot defectuoso asesin\u00f3 a una mujer en una f\u00e1brica de Michigan. Infobae. 21 de marzo de 2017. Consultado el 1 de julio de 2023. Disponible en: https:\/\/www.infobae.com\/mix5411\/2017\/03\/21\/un-robot-defectuoso-asesino-a-una-mujer-en-una-fabrica-de-michigan\/<\/a><\/p>\n\n\n\n [xii]<\/a> FUENTES, Victoria. Acusada de homicidio la conductora de Uber cuyo coche aut\u00f3nomo atropell\u00f3 a una mujer en Arizona. Motorpasion. 17 Septiembre 2020. Consultado el 1 de julio de 2023. Disponible en: https:\/\/www.motorpasion.com\/seguridad\/acusada-homicidio-conductora-coche-autonomo-uber-que-causo-atropello-mortal-arizona#:~:text=La%20conductora%20que%20deb%C3%ADa%20controlar,de%202021%2C%20seg%C3%BAn%20publica%20Reuters<\/a>.<\/p>\n\n\n\n [xiii]<\/a> Dos muertos y tres heridos cuando un Tesla en piloto autom\u00e1tico en vez de aparcar aceler\u00f3 a todo velocidad arrollando a otros veh\u00edculos. 20 minutos. 14 de noviembre de 2022. Consultado el 1 de julio de 2023. Disponible en: https:\/\/www.20minutos.es\/noticia\/5076259\/0\/dos-muertos-y-tres-heridos-cuando-un-tesla-en-piloto-automatico-en-vez-de-aparcar-acelero-a-todo-velocidad-arrollando-a-otros-vehiculos\/<\/a> <\/p>\n\n\n\n [xiv]<\/a> Otro Tesla descontrolado provoca un accidente con dos muertos en China. La Vanguardia. 1 de diciembre de 2022. Consultado el 1 de julio de 2023. Disponible en: https:\/\/www.lavanguardia.com\/motor\/actualidad\/20221201\/8630726\/tesla-descontrolado-provoca-accidente-dos-muertos-china.html<\/a><\/p>\n\n\n\n [xv]<\/a> PASCUAL ESTAP\u00c9, Juan Antonio. Autopilot de Tesla: 736 accidentes y 17 muertos. Computer Hoy. 11 jun. 2023. Consultado el 1 de julio de 2023. Disponible en: https:\/\/computerhoy.com\/motor\/autopilot-tesla-736-accidentes-17-muertos-1258862<\/a><\/p>\n\n\n\n [xvi]<\/a> Tribunal Supremo de los Pa\u00edses Bajos, 1 de noviembre de 2016, ECLI:NL:HR:2016:2454. Consultado el 25 de junio de 2023. Disponible en: https:\/\/uitspraken.rechtspraak.nl\/#!\/details?id=ECLI:NL:HR:2016:2454&keyword=%22ECLI:NL:HR:2016:2454%22<\/a> <\/p>\n\n\n\n [xvii]<\/a> Sentencia de la C\u00e1mara Primera del Tribunal Constitucional Federal de 16 de febrero de 2023 – 1 BVR 1547\/19 – – 1 BVR 2634\/20 – Consultado el 25 de junio de 2023. Disponible en: https:\/\/www.bundesverfassungsgericht.de\/e\/rs20230216_1bvr154719.html<\/a><\/p>\n\n\n\n [xviii]<\/a> Vid. <\/em>Nota al Pie 13.<\/p>\n\n\n\n [xix]<\/a> \u201dEticas. (2022). The External Audit of the VioG\u00e9n System. Association Eticas Research and Innovation.\u201d Auditor\u00eda externa del Sistema VioG\u00e9n. Eticas Foundation y Fundaci\u00f3n Ana Bella, Red de Mujeres Supervivientes. 8\/3\/22 https:\/\/eticasfoundation.org\/wp-content\/uploads\/2022\/04\/ETICAS-_-Auditori%CC%81a-Externa-del-sistema-VioGe%CC%81n-_-20220308.docx.pdf<\/a><\/p>\n\n\n\n [xx]<\/a> Resum sobre RisCanvi, el protocol de valoraci\u00f3 del risc. Consultado el 1 de julio de 2023. Disponible en: https:\/\/justicia.gencat.cat\/web\/.content\/home\/ambits\/reinsercio_i_serveis_peni\/resum-riscanvi.pdf<\/a><\/p>\n\n\n\n [xxi]<\/a> Neutral citation number: [2020] ewca civ 1058; Case No: C1\/2019\/2670; Court Of Appeal (Civil Division) on Appeal from the High Court of Justice Queen\u2019s Bench Division (Administrative Court) Cardiff District Registry; 11\/08\/2020; Edward Bridges Appellant- and – The Chief Constable of South Wales Police \u2013 and The Secretary of State for the Home Department – and the Information Commissioner the Surveillance Camera Commissioner (2) The Police and Crime Commissioner for South Wales (3) consultado el 25 de junio de 2023. Disponible en: https:\/\/www.judiciary.uk\/wp-content\/uploads\/2020\/08\/r-bridges-v-cc-south-wales-ors-judgment.pdf<\/a> Toda la documentaci\u00f3n del caso puede consultarse aqu\u00ed: https:\/\/www.libertyhumanrights.org.uk\/issue\/legal-challenge-ed-bridges-v-south-wales-police\/<\/a><\/p>\n\n\n\n [xxii]<\/a> THORBECKE, Catherine. OpenAI, maker of ChatGPT, hit with proposed class action lawsuit alleging it stole people\u2019s data. CNN. 28 de junio de 2023. Consultado el 1 de julio de 2023. Disponible en: https:\/\/edition.cnn.com\/2023\/06\/28\/tech\/openai-chatgpt-microsoft-data-sued\/index.html<\/a><\/p>\n\n\n\n [xxiii]<\/a> Brittain, Blake. Lawsuit says OpenAI violated US authors’ copyrights to train AI chatbot. 29 de junio de 2023. Reuters. Consultado el 1 de julio de 2023. Disponible en: https:\/\/www.reuters.com\/legal\/lawsuit-says-openai-violated-us-authors-copyrights-train-ai-chatbot-2023-06-29\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" Llevamos ya unos pocos a\u00f1os hablando de la inteligencia artificial y es la hora de su regulaci\u00f3n y de comenzar a interpretarla y aplicarla. Y en esto, las administraciones p\u00fablicas deber\u00edan ser las primeras en conocer la ley europea una vez sea publicada y en dar ejemplo, estando obligadas a ello. As\u00ed, con la aprobaci\u00f3n por el Parlamento Europeo quedar\u00e1n prohibidos definitivamente los \u201csistemas de IA para realizar evaluaciones de riesgo de personas f\u00edsicas o grupos de personas f\u00edsicas con…<\/p>\n
\n\n\n\n