Algorithmic profiling in the light of human rights and the General Data Protection Regulation: the SyRI case
Authors
-
Guillermo Lazcoz Moratinos
Universidad del Pais Vasco
https://orcid.org/0000-0001-6567-045X
-
José Antonio Castillo Parrilla, Dr.
Universidad del Pais Vasco
https://orcid.org/0000-0002-8527-999X
Abstract
Last 5th of February 2020, the District Court of The Hague published a pronouncement on the System of Risk Indicators (SyRI) by which it considers: (1) that it is lawful to use such an instrument whenever a public interest is involved and appropriate measures are taken to guarantee the minimum interference in the right of privacy; and (2) that, since the specific implementation of SyRI does not offer those appropriate guarantees, SyRI legislation does not respect the proportionality judgment between interference and the right of privacy according to article 8 of the European Convention on Human Rights (ECHR). Through this essay we reflect in detail on the considerations of the Court on the right of privacy, the massive collection of data and the opacity of algorithms for the analysis of big data.Keywords:
SyRI, massive surveillance, algorithms, artificial intelligence, right to privacy, ECHRReferences
Beer, David (2017). «The social power of algorithms». Information Communication and Society, 20(1): 1-13. DOI: 10.1080/1369118X.2016.1216147.
Boix, Andrés (2020). «Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones». Revista de Derecho Público: Teoría y Método, 1: 223-270. DOI: 10.37417/RPD/vol_1_2020_33.
Burrell, Jenna (2016). «How the machine “thinks”: Understanding opacity in machine learning algorithms». Big Data & Society, 3(1): 1-12. DOI: 10.1177/2053951715622512.
Castillo Parrilla, José Antonio (2018). Bienes digitales: Una necesidad europea. Madrid: Dykinson.
Contreras Vásquez, Pablo y Pablo Trigo Kramcsák. (2019). «Interés legítimo y tratamiento de datos personales: Antecedentes comparados y regulación en Chile». Revista Chilena de Derecho y Tecnología, 8(1): 69-106. DOI: 10.5354/0719-2584.2019.52915.
De Miguel Beriain, Íñigo (2018). «Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis Ruling». Law, Probability and Risk, 17(1): 45-53. DOI: 10.1093/lpr/mgy001.
Dressel, Julia y Hany Farid (2018). «The accuracy, fairness, and limits of predicting recidivism». Science Advances, 4(1). DOI: 10.1126/sciadv.aao5580.
EPRS, Servicio de Estudios del Parlamento Europeo (2018). El derecho al respeto de la vida privada: Los retos digitales, una perspectiva de derecho comparado. Disponible en https://bit.ly/2WqgSTK.
GT29, Grupo de Trabajo del Artículo 29 (2017). «Directrices sobre la evaluación de impacto relativa a la protección de datos (EIPD) y para determinar si el tratamiento “entraña probablemente un alto riesgo” a efectos del Reglamento (UE) 2016/679». Disponible en https://bit.ly/2WsdTui.
GT29, Grupo de Trabajo del Artículo 29 (2018). «Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679 a efectos del Reglamento (UE) 2016/679». Disponible en https://bit.ly/31Fz79C.
Kirkpatrick, Keith (2017). «It's not the algorithm, it's the data». Communications of the ACM, 60(2): 21-23. DOI: 10.1145/3022181.
Lin, Zhiyuan, Jongbin Jung, Sharad Goel y Jennifer Skeem (2020). «The Limits of Human Predictions of Recidivism». Science Advances, 6(7): eaaz0652. DOI: 10.1126/sciadv.aaz0652.
Malgieri, Gianclaudio (2019). «Automated decision-making in the EU Member States: The right to explanation and other “suitable safeguards” in the national legislations». Computer Law & Security Review, 35(5). DOI: 10.1016/j.clsr.2019.05.002.
Marcus, Gary (2018). «Deep learning: A critical appraisal». ArXiv. Disponible en https://arxiv.org/abs/1801.00631.
Miró Llinares, Fernando (2018). «Inteligencia artificial y justicia: Más allá de los resultados lesivos causados por robots». Revista de Derecho Penal y Criminología, 20: 87-130. DOI: 10.5944/rdpc.20.2018.26446.
Murillo de la Cueva, Pablo Lucas (2009). «La construcción del derecho a la autodeterminación informativa y las garantías para su efectividad». En Pablo Lucas Murillo de la Cueva y José Luis Piñar Mañas, El derecho a la autodeterminación informativa. Madrid: Fundación Coloquio Jurídico Europeo.
Pérez, Carlota (2004). Revoluciones tecnológicas y capital financiero: La dinámica de las grandes burbujas financieras y las épocas de bonanza. Madrid: Siglo XXI.
Perin, Andrea (2019). «Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza y la debida prudencia». Revista Chilena de Derecho y Tecnología, 8(1): 3–28. DOI: 10.5354/0719-2584.2019.52560.
Romeo Casabona, Carlos María (2018). «Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de seguridad». Revista Penal, 42: 165-179.
Sánchez-Molina, Pablo (2015). «Margen de apreciación nacional (en los sistemas de protección internacional de los derechos humanos)». Eunomía: Revista en Cultura de la Legalidad, 9: 224-231.
van Brakel, Rosamunde y Paul de Hert (2011). «Policing, surveillance and law in a pre-crime society: Understanding the consequences of technology based strategies». Journal of Police Studies, 20: 163-192.
van Dalen, Steven, Alexander Gilder, Eric Hooydonk y Mark Ponsen (2016). «System risk indication: An assessment of the Dutch anti-fraud system in the context of data protection and profiling». Universidad de Utrech. Disponible en https://bit.ly/2L7Irw9.
Veale, Michael y Lilian Edwards (2018). «Clarity, surprises, and further questions in the article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling». Computer Law & Security Review, 34(2): 398-404. DOI: 10.1016/j.clsr.2017.12.002.
Viollier, Pablo (2017). «El estado de la protección de datos personales en Chile». Derechos Digitales América Latina. Disponible en https://bit.ly/2APoeqk.
Wachter, Sandra y Brent Mittelstadt (2019). «A right to reasonable inferences: Re-thinking Data Protection Law in the age of big data and AI». Columbia Business Law Review, 2019 (2): 1-130. Disponible en https://bit.ly/2z5at8J.
Boix, Andrés (2020). «Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones». Revista de Derecho Público: Teoría y Método, 1: 223-270. DOI: 10.37417/RPD/vol_1_2020_33.
Burrell, Jenna (2016). «How the machine “thinks”: Understanding opacity in machine learning algorithms». Big Data & Society, 3(1): 1-12. DOI: 10.1177/2053951715622512.
Castillo Parrilla, José Antonio (2018). Bienes digitales: Una necesidad europea. Madrid: Dykinson.
Contreras Vásquez, Pablo y Pablo Trigo Kramcsák. (2019). «Interés legítimo y tratamiento de datos personales: Antecedentes comparados y regulación en Chile». Revista Chilena de Derecho y Tecnología, 8(1): 69-106. DOI: 10.5354/0719-2584.2019.52915.
De Miguel Beriain, Íñigo (2018). «Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis Ruling». Law, Probability and Risk, 17(1): 45-53. DOI: 10.1093/lpr/mgy001.
Dressel, Julia y Hany Farid (2018). «The accuracy, fairness, and limits of predicting recidivism». Science Advances, 4(1). DOI: 10.1126/sciadv.aao5580.
EPRS, Servicio de Estudios del Parlamento Europeo (2018). El derecho al respeto de la vida privada: Los retos digitales, una perspectiva de derecho comparado. Disponible en https://bit.ly/2WqgSTK.
GT29, Grupo de Trabajo del Artículo 29 (2017). «Directrices sobre la evaluación de impacto relativa a la protección de datos (EIPD) y para determinar si el tratamiento “entraña probablemente un alto riesgo” a efectos del Reglamento (UE) 2016/679». Disponible en https://bit.ly/2WsdTui.
GT29, Grupo de Trabajo del Artículo 29 (2018). «Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679 a efectos del Reglamento (UE) 2016/679». Disponible en https://bit.ly/31Fz79C.
Kirkpatrick, Keith (2017). «It's not the algorithm, it's the data». Communications of the ACM, 60(2): 21-23. DOI: 10.1145/3022181.
Lin, Zhiyuan, Jongbin Jung, Sharad Goel y Jennifer Skeem (2020). «The Limits of Human Predictions of Recidivism». Science Advances, 6(7): eaaz0652. DOI: 10.1126/sciadv.aaz0652.
Malgieri, Gianclaudio (2019). «Automated decision-making in the EU Member States: The right to explanation and other “suitable safeguards” in the national legislations». Computer Law & Security Review, 35(5). DOI: 10.1016/j.clsr.2019.05.002.
Marcus, Gary (2018). «Deep learning: A critical appraisal». ArXiv. Disponible en https://arxiv.org/abs/1801.00631.
Miró Llinares, Fernando (2018). «Inteligencia artificial y justicia: Más allá de los resultados lesivos causados por robots». Revista de Derecho Penal y Criminología, 20: 87-130. DOI: 10.5944/rdpc.20.2018.26446.
Murillo de la Cueva, Pablo Lucas (2009). «La construcción del derecho a la autodeterminación informativa y las garantías para su efectividad». En Pablo Lucas Murillo de la Cueva y José Luis Piñar Mañas, El derecho a la autodeterminación informativa. Madrid: Fundación Coloquio Jurídico Europeo.
Pérez, Carlota (2004). Revoluciones tecnológicas y capital financiero: La dinámica de las grandes burbujas financieras y las épocas de bonanza. Madrid: Siglo XXI.
Perin, Andrea (2019). «Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza y la debida prudencia». Revista Chilena de Derecho y Tecnología, 8(1): 3–28. DOI: 10.5354/0719-2584.2019.52560.
Romeo Casabona, Carlos María (2018). «Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de seguridad». Revista Penal, 42: 165-179.
Sánchez-Molina, Pablo (2015). «Margen de apreciación nacional (en los sistemas de protección internacional de los derechos humanos)». Eunomía: Revista en Cultura de la Legalidad, 9: 224-231.
van Brakel, Rosamunde y Paul de Hert (2011). «Policing, surveillance and law in a pre-crime society: Understanding the consequences of technology based strategies». Journal of Police Studies, 20: 163-192.
van Dalen, Steven, Alexander Gilder, Eric Hooydonk y Mark Ponsen (2016). «System risk indication: An assessment of the Dutch anti-fraud system in the context of data protection and profiling». Universidad de Utrech. Disponible en https://bit.ly/2L7Irw9.
Veale, Michael y Lilian Edwards (2018). «Clarity, surprises, and further questions in the article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling». Computer Law & Security Review, 34(2): 398-404. DOI: 10.1016/j.clsr.2017.12.002.
Viollier, Pablo (2017). «El estado de la protección de datos personales en Chile». Derechos Digitales América Latina. Disponible en https://bit.ly/2APoeqk.
Wachter, Sandra y Brent Mittelstadt (2019). «A right to reasonable inferences: Re-thinking Data Protection Law in the age of big data and AI». Columbia Business Law Review, 2019 (2): 1-130. Disponible en https://bit.ly/2z5at8J.
