La transparencia y la no discriminación en el Estado de bienestar digital

Autores/as

Resumen

El uso intensivo y masivo de tecnologías digitales en la gestión y provisión de servicios, asistencia o programas sociales ha planteado diversos desafíos en materia de derechos humanos. Este trabajo se enfoca en los desafíos que la opacidad y la discriminación algorítmicas plantean al denominado Estado de bienestar digital. Desde esta perspectiva, el artículo pretende ser un aporte teórico en la creciente discusión sobre la gobernanza digital y su potencial distópico, cuestión que puede ser de interés para los debates que se darán en Chile, en particular, con respecto a los derechos sociales en el marco del proceso constituyente y a una futura política de inteligencia artificial.

Biografía del autor/a

Alberto Coddou Mc Manus, Dr., Universidad Austral de Chile

Alberto Coddou Mc Manus es abogado. Licenciado en Ciencias Jurídicas y Sociales por la Universidad de Chile. Máster en Derecho por la Universidad de Nueva York y Doctor en Derecho por University College de Londres. Profesor auxiliar del Instituto de Derecho Público, Universidad Austral de Chile.

Sebastián Smart Larraín, Dr., Universidad Austral de Chile

Sebastián Smart Larraín es abogado. Licenciado en Derecho por la Universidad Católica de Chile. Doctor en Derechos Humanos y Estudios Latinoamericanos por la University College de Londres. Académico de la Facultad de Ciencias Jurídicas y Sociales de la Universidad Austral de Chile. 

Referencias

Adler, Matthew (2016). «A new Leviathan: Benefit sanctions in the twenty-first century». Journal of Law and Society, 43 (2): 195-227. DOI: 10.1111/j.1467-6478.2016.00749.x.
Alston, Phillip (2019). Estado de bienestar digital y derechos humanos. Informe del relator especial para extrema pobreza, A/74/48037. Disponible en https://bit.ly/3aDonxXht.
Ananny, Mike y Kate Crawford (2018). «Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability». New Media & Society, 20 (3): 973-989. DOI: 10.1177/1461444816676645.
Ashley, Kevin (2017). Artificial intelligence and legal analytics: New tools for law practice in the digital age. Cambridge: Cambridge University Press. DOI: 10.1017/9781316761380.
Atria, Fernando, Constanza Salgado y Javier Wilenmann (2020). El proceso constituyente en 138 preguntas y respuestas. Santiago: Lom.
Baeza-Yates, Ricardo (2018). «Bias on the Web». Communications of the ACM, 61 (6): 54-61. DOI: 10.1145/3209581.
Banco Mundial (2017). Big data in action for government: Big data innovation in public services, policy and engagement. World Bank Group. Disponible en https://bit.ly/2YU9BNP
Bovens, Mark (2007). «Analyzing and assessing accountability: A conceptual framework». European Law Journal, 13 (4): 447-468. DOI: 10.1111/j.1468-0386.2007.00378.x.
Boyd, Danah y Kate Crawford (2012). «Critical questions for big data: Provocations for a cultural, technological, and scholarly phenomenon». Information Communication and Society, 15 (5): 662-679.DOI: 10.1080/1369118X.2012.678878.
Britton-Purdy, Jedediah, David Singh Grewal, Amy Kapczynski y K. Sabeel Rahman (2020). «Building a law-and-political-economy framework: Beyond the twentieth-century synthesis». The Yale Law Journal, 129 (6): 1.784-1.835. Disponible en https://bit.ly/3nc7pyg.
Burrell, Jena (2016). «How the machine ‘thinks’: Understanding opacity in machine learning algorithms». Big Data and Society, 3 (1). DOI: 10.1177/2053951715622512.
Citron, Danielle (2008). «Technological due process». Washington University Law Review, 85 (6): 1.249-1.313. Disponible en https://bit.ly/3con0Et.
Coddou Mc Manus, Alberto (2019). «La igualdad en la Constitución que queremos». En Jaime Bassa, Juan Carlos Ferrada y Cristián Viera (editores), La Constitución que queremos (157-194). Santiago: Lom.
Coglianese, Cary y David Lehr (2017). «Regulating by robot: Administrative decision making in the machine-learning era». Georgetown Law Journal, 105 (5): 1.147-1.223. Disponible en https://bit.ly/3Cu5SrF.
Crawford, Kate, Mary L. Gray, Kate Miltner (2014). «Critiquing big data: Politics, ethics, epistemology». International Journal of Communication, 8: 1.663-1.672. Disponible en https://bit.ly/3wZxDHp.
Dalton, Craig y Jim Thatcher (2014). «What does a critical data studies look like, and why do we care?», Society + Space. Disponible en https://bit.ly/3CmoR7q.
Dalton, Craig M., Linnet Taylor y Jim Thatcher (2016). «Critical Data Studies: A dialog on data and space». Big Data & Society, 3 (1). DOI:10.1177/2053951716648346.
Desai, Deven R. y Joshua A. Kroll (2017). «Trust but verify: A guide to algorithms and the law». Harvard Journal of Law & Technology, 31 (1): 1-64. Disponible en https://bit.ly/3nrJiM3.
Edwards, Lilian y Michael Veale (2017). «Slave to the algorithm? Why a right to explanation is probably not the remedy you are looking for». Duke Law & Technology Review, 16 (1): 18-34. Disponible en https://bit.ly/3clK5Ys.
Engelmann, Severin, Mo Chen, Felix Fischer, Ching-yu Kao y Jens Grossklags (2019). «Clear sanctions, vague rewards: How China’s social credit system currently defines ‘good’ and ‘bad’ behaviour». Proceedings of the Conference on fairness, accountability, and transparency (FAT* ‘19) Association for Computing Machinery (69-78), Nueva York. DOI: 10.1145/3287560.3287585.
Esping-Andersen, Gøsta (1990). The three worlds of welfare capitalism. Princeton University Press.
EU Commission (2020). Digital economy and society index (DESI). Human capital. Disponible en https://bit.ly/3jrkrnV.
Eubanks, Virginia (2018). Automating inequality: How high-tech tools profile, police and punish the poor. Londres: San Martin’s Press.
Fjeld, Jessica, Nele Achten, Hannah Hilligoss, Adam Nagy y Madhulika Srikumar (2020) «Principled artificial intelligence: Mapping consensus in ethical and rights-based approaches to principles for AI», Berkman Klein Center for Internet & Society. Disponible en https://bit.ly/3aK89TP.
Figueroa, Pamela y Tomás Jordán (eds.) (2020). 7 propuestas para la nueva Constitución de Chile. Santiago: Editorial Usach.
Foucault, Michel (1976). Vigilar y castigar: El nacimiento de la prisión. Madrid: Siglo XXI.
Fredman, Sandra (2010). «Positive duties and socio-economic disadvantage: Bringing disadvantage onto the equality agenda». European Human Rights Law Review, 290 (3).
Gantchev, Valery (2019). «Data protection in the age of welfare conditionality: Respect for basic rights or a race to the bottom?». European Journal of Social Security, 21 (1): 3-22. DOI: 10.1177/1388262719838109.
Huber, Evelyne y Sara Niedzwiecki (2014). «Emerging welfare states in Latin America and East Asia». En Stephan Leibfried, Evelyne Huber, Matthew Lange, Jonah D. Levy y John D. Stephens (editores), The Oxford handbook of transformations of the state. Oxford: Oxford University Press. DOI: 10.1093/oxfordhb/9780199691586.013.43.
Kapczynski, Amy (2020). «The law of informational capitalism». Yale Law Journal 129 (5): 1.276-1.599.
King, Jeff (2019). «The future of social rights: Social rights as capstone». En Amartya Sen y Katherine Young (editores), The future of economic and social rights. Cambridge: Cambridge University Press.
Kitchin, Rob (2014). «Big Data, new epistemologies and paradigm shifts», Big Data & Society, 1 (1). DOI: 10.1177/2053951714528481.
Kitchin, Rob y Tracey P. Lauriault (2014). «Towards critical data studies: Charting and unpacking data assemblages and their work». En Josef Eckert, Andrew Shears y Jim Thatcher (editores), Thinking big data in geography. New regimes, new research. University of Nebraska Press.
Landau, David (2014). «The promise of a minimum core approach: The colombian model for judicial review of austerity measures». En Aoife Nolan (editor), Economic and social rights after the global financial crisis. Cambridge: Cambridge University Press.
Lazcoz, Guillermo y José Castillo Parrilla (2020). «Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI». Revista Chilena de Derecho y Tecnología, 9 (1): 207-225. DOI: 10.5354/0719-2584.2020.56843.
Lundberg, Ema (2019). «Automated decision-making vs indirect discrimination: Solution or aggravation?». Independent written essay, master’s program in Constitutional Law and Human Rights, Umea University. Disponible en https://bit.ly/2N69gVm.
Laenen, Tijs, Bart Meuleman y Wim van Oorschot (editores) (2020). Welfare state legitimacy in times of crisis and austerity: Between continuity and change. Londres: Edward Elgar Publishing.
Marshall, Thomas H. y Thomas Bottomore (1998). Ciudadanía y clase social. Madrid: Alianza.
Mitchell, Margaret, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji y Timnit Gebru (2019). «Model cards for model reporting». Proceedings of the Conference on fairness, accountability, and transparency (FAT* ‘19) Association for Computing Machinery (220–229), Nueva York. DOI: 10.1145/3287560.3287596.
Morozov, Evgeny (2019). «Digital Socialism? The calculation debate in the age of big data». New Left Review, 116: 33-67. Disponible en https://bit.ly/32hKjOJ.
Muñoz, Catherine, Jeanna Neefe Matthews y Jorge Pérez (2021) «Sistemas de toma de decisiones automatizadas: ¿De qué hablamos cuando hablamos de transparencia y del derecho a una explicación?». Bits de Ciencia, 21: 27-36. Disponible en https://bit.ly/3FsRfXi.
O’Cinneide, Colm (2014). «Austerity and the faded dream of a ‘social Europe’». En Aoife Nolan (editor), Economic and social rights after the global financial crisis. Cambridge University Press. DOI: 10.1017/CBO9781107337954.010.
Pasquale, Frank (2015). The black box society: The secret algorithms that control money and information. Boston: Harvard University.
Puschmann, Cornelius y Jean Burgess (2014). Big data, big questions: Metaphors of big data». International Journal of Communication, 8: 1.690-1.709. Disponible en https://bit.ly/3kMjZ5z.
Redden, Joanna (2018). «Democratic governance in an age of datafication: Lessons from mapping government discourses and practices». Big Data & Society, 5 (2). DOI: 10.1177/2053951718809145.
Rieder, Gernot y Judith Simon (2016). «Datatrust: Or, the political quest for numerical evidence and the epistemologies of big data». Big Data & Society, 3 (1). DOI: 10.1177/2053951716649398.
Rieke, Aaron, Miranda Bogen y David Robinson (2018). «Public scrutiny of automated decisions: Early lessons and emerging methods. An Upturn and Omidyar Network report». Disponible en https://bit.ly/3np3uxU.
Robinson, David y Alex Rosenblat (2020). «Governing an algorithm in the wild». Data & Society. Disponible en https://bit.ly/3ry7eN1.
Ronconi, Liliana (2018). «Repensando el principio de igualdad: alcances de la igualdad real». Isonomía, 49. DOI: 10.5347/49.2018.
Ruiz, Carlos (2020). Octubre chileno. La irrupción de un nuevo pueblo. Santiago: Taurus.
Schartum, Dag W (2016). «Law and algorithms in the public domain». Nordic Journal of Applied Ethics, 1: 15-26. DOI: 10.5324/eip.v10i1.1973.
Sills, Arthur. (1970). «Automated data processing and the issue of privacy». Seton Hall Law Review, 1.
Smith, Gavin J.D. (2020). «The politics of algorithmic governance in the black box city». Big Data & Society, 7 (2). DOI: 10.1177/2053951720933989.
Tversky, Amos y Daniel Kahneman (1974). «Judgment under uncertainty: Heuristics and biases». Science, 185 (4.157): 1124-1131. DOI: 10.1126/science.185.4157.1124.
Viera Álvarez, Cristián (2014). «Estado social como fórmula en la constitución chilena». Revista de Derecho (Universidad Católica del Norte), 21 (2): 453-482. DOI: 10.4067/S0718-97532014000200014.
Viljoen, Salome (en prensa). «Democratic data: A relational theory for data governance». Yale Law Journal. Disponible en https://bit.ly/3CX7gmL.
Wachter, Sandra, Brent Mittelstadt y Luciano Floridi (2017). «Why a right to explanation of automated decision-making does not exist in the general data protection regulation». International Data Privacy Law, 7 (2): 76-99. DOI: 10.1093/idpl/ipx005.
Watts, Beth y Suzanne Fitzpatrick (2018). Welfare conditionality. Londres: Routledge.
West, Sarah M., Meredith Whittaker y Kate Crawford (2019). Discriminating systems: Gender, race and power in AI. AI Now Institute. Disponible en https://bit.ly/2YVyNXK.
Zuboff, Shoshana (2020). La era del capitalismo de la vigilancia. Barcelona: Ediciones Paidós.
Zuiderveen Borgesius, Frederik J. (2019). «Strengthening legal protection against discrimination by algorithms and artificial intelligence». The International Journal of Human Rights, 24 (10): 1572-1593. DOI: 10.1080/13642987.2020.1743976.

Palabras clave:

Estado de bienestar digital, discriminación algorítmica, opacidad algorítmica