La discriminación en una sociedad automatizada: Contribuciones desde América Latina

Autores/as

Resumen

¿Las actuales legislaciones latinoamericanas protegen adecuadamente a las personas frente a discriminaciones por el uso de sistemas de inteligencia artificial de toma de decisiones automatizadas?, ¿cómo se debe configurar un marco legal efectivo sobre esta materia? A partir de estas preguntas, el presente artículo analiza este tipo de discriminación desde el punto de vista técnico y regulatorio, desarrolla una teoría conceptual sobre las particularidades de una discriminación algorítmica situada y contextualizada en América Latina, propone la incorporación de un principio relacional propio de la región y ofrece un nuevo enfoque interpretativo del principio de igualdad y del concepto de discriminación desde una perspectiva colectiva, con el objeto de superar dificultades normativas evidenciadas en el derecho comparado.

Palabras clave:

Principio de igualdad, discriminación, inteligencia artificial, América Latina, toma de decisiones automatizadas

Biografía del autor/a

Catherine Muñoz Gutiérrez, Mg., Abogada Independiente, Chile

Catherine Muñoz Gutiérrez es abogada, licenciada en Ciencias Jurídicas y Sociales, Universidad Central de Chile, Máster (LL.M.) en Derecho Internacional, Inversiones, Comercio y Arbitraje, Universidad de Chile. Master of Laws in International Law (LL.M. int.), Universidad de Heidelberg, Alemania. Directora del Observatorio para la Transparencia e Inclusión Algorítmica (OPTIA), miembro de The Global AI Ethics Consortium (GAIEC).

Referencias

Alpaydin, Ethem (2004). Introduction to Machine Learning. Cambridge: MIT Press.

Buolamwini, Joy y Timnit Gebru (2018). «Gender shades: Intersectional accuracy disparities in commercial gender classification». En Conference on fairness, accountability and transparency (pp. 77-91). PMLR.

Baldwin, Robert, Martin Cave y Martin Lodge (2010). The Oxford handbook of regulation. Oxford: Oxford University Press.

Baldwin, Robert y Martin Cave (2012). Understanding Regulation: Theory, Strategy, and Practice. Oxford: Oxford University Press.

Barocas, Solon y Andrew D. Selbst (2016). «Big Data’s Disparate Impact». California Law Review, 104: 671-732. DOI: 10.2139/ssrn.2477899.

Benjamin, Ruha (2020). «Race After Technology: Abolitionist Tools for the New Jim Code». Social Forces, 98 (4): 1-3. DOI: 10.1093/sf/soz162.

Birhane, Abeba (2020). «Algorithmic Colonization of Africa». SCRIPTed, 17 (2): 389-409. DOI: 10.2966/scrip.170220.389.

Birhane, Abeba (2021). «Algorithmic Injustice: A Relational Ethics Approach». Patterns, 2 (2): 100-205. DOI: 10.1016/j.patter.2021.100205.

Bonilla-Silva, Eduardo y David G. Embrick (2006). «Racism without racists:“Killing me softly” with color blindness». En Reinventing critical pedagogy (pp. 21-34). Lanham: Rowman & Littlefield.

Broussard, Meredith (2018). Artificial Unintelligence: How Computers Misunderstand the World. Cambridge: MIT Press.

Brown, Anna, Alexandra Chouldechova, Emily Putnam-Hornstein, Andrew Tobin y Rhema Vaithianathan (2019). «Toward algorithmic accountability in public services: A qualitative study of affected community perspectives on algorithmic decision-making in child welfare services». En Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1-12). DOI: 10.1145/3290605.3300271.

Costanza-Chock, Sasha (2020). Design Justice: Community-Led Practices to Build the Worlds We Need. Cambridge: MIT Press.

Creel, Kathleen y Deborah Hellman (2021). «The Algorithmic Leviathan: Arbitrariness, Fairness, and Opportunity in Algorithmic Decision Making Systems». Virginia Public Law and Legal Theory Research Paper, 2021-13.

De Búrca, Gráinne (2012). «The Trajectories of European and American Antidiscrimination Law». The American Journal of Comparative Law, 60 (1): 1-22.

Díaz de Valdés, J. y José Manuel (2015). «¿Qué clase de igualdad reconoce el Tribunal Constitucional?». Ius et praxis, 21 (2): 317-372. DOI: 10.4067/S0718-00122015000200009.

D’Ignazio, Catherine y Lauren F. Klein (2020). Data Feminism. Cambridge: MIT Press.

Escobar, Arturo (2019). Autonomía y diseño: la realización de lo comunal. Editorial Universidad del Cauca.

Espinosa, Agustín y Rosa María Cueto (2014). «Estereotipos raciales, racismo y discriminación en América Latina». En Elena Zubieta, José Valencia y Gisela Delfino (coordinadores), Psicología Social y Política: Procesos teóricos y estudios aplicados (pp. 431-442). Buenos Aires: Eudeba.

Estermann, Josef (2008). Si el sur fuera el norte: Chakanas interculturales entre Andes y Occidente. Quito: Abya Yala.

Eubanks, Virginia (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. Nueva York: St. Martin’s Press.

Farkas, Lilla (2011). How to present a discrimination claim: handbook on seeking remedies under the EU non-discrimination directives. Luxemburgo: Publications Office of the European Union.

Fiss, Owne (2004). «Another equality». Issues in Legal Scholarship, 2 (1). DOI: 10.2202/1539-8323.1051.

Freire, Paulo (1970). Pedagogía del oprimido. Ciudad de México: Siglo XXI editores.

Friedler, Sorelle A., Carlos Scheidegger, Suresh Venkatasubramanian, Sonam Choudhary, Evan P. Hamilton y Derek Roth (2019). «A comparative study of fairness-enhancing interventions in machine learning». En Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 329-338). Nueva York: Association for Computing Machinery. DOI: 10.1145/3287560.3287589.

Gilman, Michele E. (2020). «Poverty Lawgorithms: A Poverty Lawyer’s Guide to Fighting Automated Decision-Making Harms on Low-Income Communities». Data & Society.

Giuffrida, Iria (2019). «Liability for AI Decision-Making: Some Legal and Ethical Considerations». Fordham Law Review, 88: 439.

Goodfellow, Ian, Yoshua Bengio y Aaron Courville (2016). Deep Learning. Cambridge: MIT Press.

Goodman, Bryce y Seth Flaxman (2017). «European Union regulations on algorithmic decision-making and a “right to explanation”». AI magazine, 38 (3): 50-57. DOI: 10.1609/aimag.v38i3.2741.

Green, Ben y Lily Hu (2018). «The Myth in the Methodology: Towards a Recontextualization of Fairness in Machine Learning». En Proceedings of the machine learning: the debates workshop.

Gupta, Itisha y Garima Nagpal (2020). Artificial Intelligence and Expert Systems. Dulles: Mercury Learning and Information.

Hagerty, Alexa y Igor Rubinov (2019). «Global AI ethics: a review of the social impacts and ethical implications of artificial intelligence». arXiv preprint arXiv:1907.07892.

Hanna, Alex, Emily Denton, Andrew Smart y Jamila Smith-Loud (2020). «Towards a critical race methodology in algorithmic fairness». En Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 501-512). DOI: 10.1145/3351095.3372826.

Haraway, Donna (2013). Simians, cyborgs, and women: The reinvention of nature. Nueva York: Routledge.

Hellman, Deborah (2020a). «Measuring algorithmic fairness». Virginia Law Review, 106 (4): 811.

Hellman, Deborah. (2020b). «Sex, Causation, and Algorithms: How Equal Protection Prohibits Compounding Prior Injustice». Washington University Law Review, 98 (2): 481-523.

Hellman, Deborah y Sophia Moreau (2013). Philosophical foundations of discrimination law. Oxford: Oxford University Press.

Hill Collins, Patricia (2002). Black feminist thought: Knowledge, consciousness, and the politics of empowerment. Nueva York: Routledge.

Hu, Lily y Issa Kohler-Hausmann (2020). «What’s Sex Got To Do With Machine Learning». arXiv preprint arXiv:2006.01770.

Kohler-Hausmann, Issa (2019). «Eddie Murphy and the Dangers of Counterfactual Causal Thinking About Detecting Racial Discrimination». Northwestern University Law Review, 113 (5): 1163-1228.

Iwanicz-Drozdowska, Małgorzata y Bartosz Witkowski (2016). «Credit Growth in Central, Eastern, and South-Eastern Europe: The Case of Foreign Bank Subsidiaries». International Review of Financial Analysis, 43: 146-58. DOI: 10.1016/j.irfa.2015.11.010.

Kaber, David (2018). «A conceptual framework of autonomous and automated agents». Theoretical Issues in Ergonomics Science, 19 (4): 406-430. DOI: 10.1080/1463922X.2017.1363314.

Kaushal, Amit, Russ Altman y Curt Langlotz (2020). «Geographic distribution of US cohorts used to train deep learning algorithms». Jama, 324 (12): 1212-1213. DOI: 10.1001/jama.2020.12067-.

Khaitan, Tarunabh (2015). A theory of discrimination law. Oxford: Oxford University Press.

Kitching, Kevin (2005). Non-discrimination in international law: A handbook for practitioners. Londres: Interights.

Lander, Edgardo y Santiago Castro-Gómez (editores) (2000). La colonialidad del saber: eurocentrismo y ciencias sociales: perspectivas latinoamericanas. Buenos Aires: Consejo Latinoamericano de Ciencias Sociales-CLACSO.

Latonero, Mark (2018). «Governing artificial intelligence: Upholding human rights & dignity». Data & Society: 1-37.

Lehr, David y Paul Ohm (2017). «Playing with the data: what legal scholars should learn about machine learning». UCDL Rev., 51: 653.

Lipton, Zachary C. (2018). «The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery». Queue, 16 (3): 31-57. DOI: 10.1145/3236386.3241340.

Lizcano Fernández, Francisco (2005). «Composición étnica de las tres áreas culturales del continente Americano al comienzo del siglo XXI». Convergencia, 12 (38): 185-232.

Malik, Momin M. (2020). «A Hierarchy of Limitations in Machine Learning». arXiv preprint arXiv:2002.05193.

McKelvey, Fenwick y Margaret MacDonald (2019). «Artificial intelligence policy innovations at the Canadian federal government». Canadian Journal of Communication, 44 (2): 43-50. DOI:10.22230/cjc.2019v44n2a3509

Mehrabi, Ninareh, Fred Morstatter, Nripsuta Saxena, Kristina Lerman y Aram Galstyan (2019). «A Survey on Bias and Fairness in Machine Learning».

Mendez, Xhercis (2015). «Notes toward a decolonial feminist methodology: revisiting the race/gender matrix». Trans-scripts, 5: 41-56.

Meza Salcedo, Guillermo (2017). «Ética de la investigación desde el pensamiento indígena: derechos colectivos y el principio de la comunalidad». Revista de Bioética y Derecho, 41: 141-59.

Mhlambi, Sabelo (2020). «From rationality to relationality: ubuntu as an ethical and human rights framework for artificial intelligence governance». Carr Center for Human Rights Policy Discussion Paper Series, 9.

Mignolo, Walter D. (2003). Historias locales/diseños globales: colonialidad, conocimientos subalternos y pensamiento fronterizo, vol. 18. Madrid: Ediciones Akal.

Moreno Figueroa, Mónica G. y Emiko Saldívar Tanaka (2016). «“We Are Not Racists, We Are Mexicans”: Privilege, Nationalism and Post-Race Ideology in Mexico». Critical Sociology, 42 (4-5): 515-533. DOI: 10.1177/0896920515591296.

Noble, Safiya Umoja (2018). Algorithms of oppression: How search engines reinforce racism. Nueva York: New York University Press.

Orwat, Carsten (2020). Risks of Discrimination through the Use of Algorithms. Berlín: Federal Anti-Discrimination Agency.

Page, John, Michael Bain y Faqihza Mukhlish (2018). «The risks of low level narrow artificial intelligence». En 2018 IEEE International Conference on Intelligence and Safety for Robotics (ISR) (pp. 1-6). IEEE. DOI: 10.1109/IISR.2018.8535903.

Pasquale, Frank (2017). «Toward a Fourth Law of Robotics: Preserving Attribution, Responsibility, and Explainability in an Algorithmic Society». Ohio State Law Journal, 78: 1243-1255.

Pedregosa, Fabian, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, Jake Vanderplas, Alexandre Passos, David Cournapeau, Matthieu Brucher, Matthieu Perrot, Édouard Duchesnay (2011). «Scikit-learn: Machine Learning in Python». The Journal of machine Learning research, 12: 2825-2830.

Quijano, Aníbal (2000). «Colonialidad del poder, eurocentrismo y América Latina». Buenos Aires: Consejo Latinoamericano de Ciencias Sociales (CLACSO).

Rawls, John (1990). «Justicia como “fairness”: política, no metafísica». Revista de Ciencia Política, 12 (1-2): 89-118.

Rojas Miño, Irene (2020). «Los instrumentos jurídicos ante la discriminación remunerativa entre mujeres y hombres en Chile». Revista de Derecho (Universidad Austral de Chile), 33 (2): 145-165. DOI: 10.4067/S0718-09502020000200145.

Ronconi, Liliana (2018) «Repensando el principio de igualdad: repensando el principio de igualdad». Isonomía: Revista de teoría y filosofía del derecho, 49: 103-140. DOI: 10.5347/49.2018.25.

Salgado, Mauricio y Javier Castillo (2018). «Differential Status Evaluations and Racial Bias in the Chilean Segregated School System». Sociological Forum, 33 (2): 354-377. DOI: 10.1111/socf.12426.

Sambasivan, Nithya, Erin Arnesen, Ben Hutchinson, Tulsee Doshi y Vinodkumar Prabhakaran (2021). «Re-imagining Algorithmic Fairness in India and Beyond». arXiv preprint arXiv:2101.09995.

Sánchez-Monedero, Javier, Lina Dencik y Lilian Edwards (2020). «What does it mean to solve the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems». En Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 458-468). Nueva York: Association for Computing Machinery. arXiv:1910.06144v2.

Schneeberger, David, Karl Stöger y Andreas Holzinger (2020). «The European Legal Framework for Medical AI». En Andreas Holzinger, Peter Kieseberg, A Min Tjoa y Edgar Weippl (editores), Machine Learning and Knowledge Extraction (pp. 209-226). Cham: Springer International Publishing. DOI: 10.1007/978-3-030-57321-8_12.

Schuett, Jonas (2019). «A Legal Definition of AI». DOI: 10.2139/ssrn.3453632.

Selbst, Andrew D. (2017). «Disparate Impact in Big Data Policing». Georgia Law Review, 52: 109-195. DOI: 10.2139/ssrn.2819182.

Siegel, Reva B. (2003). «Equality talk: Antisubordination and anticlassification values in constitutional struggles over Brown». Harvard Law Review, 117: 1470-1547.

Silva, Graziella Moraes, Emiko Saldivar, Graziella Moraes Silva y Emiko Saldivar (2018). «Comparing Ideologies of Racial Mixing in Latin America: Brazil and Mexico». Sociologia & Antropologia, 8 (2): 427-456. DOI: 10.1590/2238-38752017v824.

Suresh, Harini y John V. Guttag (2019). «A framework for understanding unintended consequences of machine learning». arXiv preprint arXiv:1901.10002.

Suresh, Harini y John V. Guttag (2020). «A Framework for Understanding Unintended Consequences of Machine Learning». arXiv:1901.10002 [cs, stat], febrero.

Tubaro, Paola y Antonio A. Casilli (2019). «Micro-Work, Artificial Intelligence and the Automotive Industry». Journal of Industrial and Business Economics, 46 (3): 333-345. DOI: 10.1007/s40812-019-00121-1.

Tversky, Amos, y Daniel Kahneman (1974). «Judgment under uncertainty: Heuristics and biases». science, 185 (4157): 1124-1131. DOI: 10.1126/science.185.4157.1124.

Varela, Francisco J, Evan Thompson y Eleanor Rosch (2017). The Embodied Mind, revised edition: Cognitive Science and Human Experience. Cambridge: MIT Press.

VeneKlasen, Lisa, Valerie Miller, Debbie Budlender y Cindy Clark (2002). A new weave of power, people & politics: the action guide for advocacy and citizen participation. Oklahoma City: World Neighbors.

Wachter, Sandra (2020). «Affinity profiling and discrimination by association in online behavioural advertising». Berkeley Technology Law Journal, 35 (2). DOI: 10.2139/SSRN.3388639.

Wachter, Sandra, Brent Mittelstadt y Chris Russell (2020). «Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI». DOI: 10.2139/ssrn.3547922.

Wade, Peter (2017). «Racism and Race Mixture in Latin America». Latin American Research Review, 52 (3): 477-85. DOI: 10.25222/larr.124.

Wieviorka, Michel (2002). El racismo: Una introducción. La Paz: Plural editores.

Williams, Bernard (1988). «Ethical consistency». En Geoffrey Sayre-McCord (editor), Essays on moral realism (pp.41-58). Nueva York: Cornell University Press.

Xiang, Alice y Inioluwa Deborah Raji (2019). «On the Legal Compatibility of Fairness Definitions». ArXiv:1912.00761 [Cs, Stat], noviembre.

Yeung, Karen, Andrew Howes y Ganna Pogrebna (2020). «AI Governance by Human Rights–Centered Design, Deliberation, and Oversight». En Markus Dirk Dubber, Frank Pasquale y Sunit Das (editores), The Oxford Handbook of Ethics of AI (pp. 77-106). Oxford: Oxford University Press. DOI: 10.2139/ssrn.3435011.

Young, Iris Marion (2001). «Equality of whom? Social groups and judgments of injustice». Journal of political philosophy, 9 (1): 1-18. DOI: 10.1111/1467-9760.00115.

Young, Iris Marion (2002). Inclusion and Democracy. Oxford: Oxford University Press.

Yu, Ai (2020). «Digital surveillance in post‐coronavirus China: A feminist view on the price we pay». Gender, Work, and Organization, 27 (5): 774-777. DOI: 10.1111/gwao.12471.

Zemel, Rich, Yu Wu, Kevin Swersky, Toni Pitassi y Cynthia Dwork (2013). «Learning fair representations». En International conference on machine learning, (pp. 325-333). PMLR. DOI: 10.5555/3042817.3042973.

Zuboff, Shoshana (2019). The age of surveillance capitalism: The fight for a human future at the new frontier of power. Nueva York: Public Affairs.