Algorithmic transparency and automated decision-making systems in healthcare: The case of the non-GES waiting list prioritization model of the Ministry of Health

Adadi, Amina y Mohammed Berrada (2018). Peeking inside the black-box: a survey on explainable artificial intelligence (XAI). IEEE access 6: 52138-52160.

Álvarez, Marianella, Laura Quirós y Mónica Cortés (2020). «Inteligencia artificial y aprendizaje automático en medicina». Revista Médica Sinergia, 5(8), e557. DOI: https://doi.org/10.31434/rms.v5i8.557

Anguita, Pedro (2007): La Protección de Datos Personales y el Derecho a la Vida Privada (Santiago, Edit. Jurídica de Chile).

Araujo, Theo, Natali Helberger, Sanne Kruikemeier y Claes De Vreese. (2020). «In AI we trust? Perceptions about automated decision-making by artificial intelligence». AI & society, 35, 611- 623. DOI: https://doi.org/10.1007/s00146-019-00931-w

Araya, Carlos (2021). «Transparencia algorítmica ¿un problema normativo o tecnológico? ». Revista Científica de la Universidad Católica de Temuco, CUHSO, 31(2), 306-334. DOI: https://dx.doi.org/10.7770/cuhso-v31n2-art2196

Azuaje, Michelle y Daniel Finol (2023) «Aproximaciones a la noción de inteligencia artificial y otros conceptos vinculados con ella». en AZUAJE, Michelle (coordinadora), Introducción a la ética y el derecho de la inteligencia artificial (Madrid, Wolters Kluwer - La Ley). 18-33.

Balasubramaniam, Nagadivya, Marjo Kauppinen, Antii Rannisto, Kari Hiekkanen, y Sari Kujala (2023). «Transparency and explainability of AI systems: From ethical guidelines to requirements». Revista Information and Software Technology, 159: 107197.

Biblioteca del Congreso Nacional (BCN). «Régimen Legal nacional de protección de datos personales». BCN. Disponible en: https://obtienearchivo.bcn.cl/obtienearchivo?id=repositorio/10221/20443/5/REG_NACI ONAL_PROTECC_DATOS_PERSONALES%20(LV)_v5.pdf [Fecha de consulta: 20-11- 2023]

Bordachar, Michelle (2022). «Comentarios al proyecto de ley chileno sobre protección de datos personales: Deficiencias e inconsistencias en los derechos ARCO». Revista chilena de derecho y tecnología, 11(1), 397-414. DOI: https://dx.doi.org/10.5354/0719-2584.2022.67205

Burke, Adam (2019). Occluded algorithms. Big Data & Society, 6(2), DOI: https://doi.org/10.1177/2053951719858743

Burrell, Jenna (2016). «How the machine ‘thinks’: Understanding opacity in machine learning algorithms». Big Data & Society, 3(1). DOI: https://doi.org/10.1177/2053951715622512

Capdeferro, Óscar (2020). «La inteligencia artificial del sector público: desarrollo y regulación de la actuación administrativa inteligente en la cuarta revolución industrial». IDP. Revista d'Internet, Dret i Política, 2020, (30): 1-14.

Carvalho, Diogo, Eduardo Pereira y Jaime Cardoso (2019). «Machine learning interpretability: a survey on methods and metrics». Electronics 8(8): 32. DOI: 10.3390/electronics8080832

Cerda, Alberto (2003): “Autodeterminación informativa y leyes sobre protección de datos”, en Revista de Derecho Informático (No. 3).

Contreras, Pablo (2020). “El derecho a la protección de datos personales y el reconocimiento de la autodeterminación informativa en la Constitución chilena”, en Estudios Constitucionales (Vol. 18, No. 2), pp. 87-120.

Corral, Hernán (2001): “De los derechos de las personas sobre los responsables de bancos de datos: el hábeas data chileno”, en Wahl, Jorge (ed.), Tratamiento de Datos Personales y Protección de la Vida Privada. Estudios sobre la Ley No. 19.628 Sobre Protección de Datos de Carácter Personal (Santiago, Chile. Ediciones Universidad de los Andes).

Corvalán, Juan Gustavo (2018). «Inteligencia artificial, retos, desafíos y oportunidades-Prometea, la primera inteligencia artificial de Latinoamérica al servicio de la Justicia». Revista de Investigações Constitucionais, 5: 295-316.

Curtis, Andrea, Colin Russell, Johannes Stoelwinder y John McNeil (2010). «Waiting lists and elective surgery: ordering the queue». Medical Journal of Australia, 192(4), 217-220.

Delgado, Isaac (2009). «Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada». Revista de administración pública, (180): 353-386.

Departamento de Estadística e Información de Salud y Departamento de Evaluación de Tecnología Sanitaria y Salud Basada en Evidencia. (2017). Informe: Modelo de priorización lista de espera No GES con enfoque de riesgo y tiempos razonables de espera. Ministerio de Salud. Disponible en: https://www.minsal.cl/wp-content/uploads/2018/01/Modelo-de- priorizaci%C3%B3n-y-tiempos-razonables-de-espera.pdf [Fecha de consulta: 29-09-2023]

Donoso, Lorena & Reusser, Carlos (2022). La protección de los datos personales en Chile. Santiago: Der Ediciones.

Doshi-Velez, Finale, y Been Kim (2017). «Towards a rigorous science of interpretable machine learning». Disponible en: arXiv preprint arXiv:1702.08608. [Fecha de consulta: 30-09-2023]

Eguíluz, Andoni (2020). «Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales». Estudios de Deusto: Revista de Derecho Público, 68(2), 325-367.

Escolano, Raquel (2022). «Transparencia en la inteligencia artificial y en el uso de algoritmos: una visión de género». En Cotino Hueso, Castellanos (coordinadores), Transparencia y explicabilidad de la inteligencia artificial. Tirant lo Blanch. 85-107.

Eubanks, Virginia (2019). Automating Inequality, How High-Tech Tools Profile, Police, and Punish the Poor. Nueva York: Picador.

European Commission (2023). «Automated decision-making impacting society». Competence Centre on Foresight. Disponible en: https://knowledge4policy.ec.europa.eu/foresight/automated-decision-making-impacting- society_en [Fecha de consulta: 29-10-2023].

Garrido, Romina, Lapostol, J. & Hermosilla, M. (2021). Transparencia algorítmica en el sector público. Consejo para la transparencia y GobLab UAI.

GobLab Universidad Adolfo Ibáñez (2024). Repositorio de Algoritmos Públicos. Informe Anual 2024. GobLab, Universidad Adolfo Ibáñez.

Ghassemi, Marzyeh, Luke Oakden-Rayner y Andrew Beam (2021). «The false hope of current approaches to explainable artificial intelligence in health care». The Lancet Digital Health, 3(11): 745-750. DOI: https://doi.org/10.1016/S2589-7500(21)00208-9

Gil, Elena (2017). «Aproximación al estudio de las decisiones automatizadas en el seno del Reglamento General Europeo de Protección de Datos a la luz de las tecnologías big data y de aprendizaje computacional». Revista española de la transparencia, (5): 165-179.

Information Commissioner’s Office (2023). «What does the UK GDPR say about automated decision-making and profiling? ». Disponible en: https://ico.org.uk/for-organisations/uk-gdpr- guidance-and-resources/individual-rights/automated-decision-making-and-profiling/what- does-the-uk-gdpr-say-about-automated-decision-making-and-profiling/ [Fecha de consulta: 30- 10-2023].

Jervis, Paula (2003). “Derechos del titular de datos y habeas data en la Ley 19.628”, en Revista de Derecho Informático (No. 3).

Jijena, Renato (1992): Chile, la protección penal de la intimidad y el delito informático (Santiago, Editorial Jurídica de Chile).

Julio, Cristian, PatricioWolff, y María Vegoña (2016). «Modelo de gestión de listas de espera centrado en oportunidad y justicia». Revista médica de Chile, 144(6): 781-787.

Kaltheuner, Frederike (Ed.). (2021). An interview with Arvind Narayanan: AI Snake Oil, Pseudoscience and Hype. Fake AI. Meatspace press.

Kaminski, Margot (2019). «The Right to Explanation, Explained». Berkeley Technology Law Journal, 190-217. DOI: http://dx.doi.org/10.2139/ssrn.3196985.

Kaplan, Bonnie (2020). «Seeing through health information technology: the need for transparency in software, algorithms, data privacy, and regulation». Journal of Law and the Biosciences, 7(1), lsaa062.

Kiseleva, Anastasiya (2021). «Making AI’s Transparency Transparent, notes on the EU Proposal for the AI Act». Disponible en: https://europeanlawblog.eu/2021/07/29/making-ais-transparency- transparent-notes-on-the-eu-proposal-for-the-ai-act/ [Fecha de consulta: 04-09-2023].

Kiseleva, Anastasiya, Dimitris Kotzinos y Paul De Hert (2022). «Transparency of AI in healthcare as a multilayered system of accountabilities, between legal requirements and technical limitations». Frontiers in Artificial Intelligence, 5, 879603.

Linardatos, Pantelis, Vasilis Papastefanopoulos y Sotiris Kotsiantis (2020). «Explainable ai: A review of machine learning interpretability methods». Entropy. 23(1): 18.

Marcazzolo, Ximena y Nathalie Walker (2023). «Empleo de sistemas algorítmicos de evaluación de riesgos en materia penal, estándares mínimos para un uso acorde a las exigencias del debido proceso». En Rocha, Sansó-Rubert y Rodríguez (coordinadores), Inteligencia artificial y derecho, reflexiones jurídicas para el debate sobre su desarrollo y aplicación. Dykinson.

Markus, Aniek, Jan A. Kors y Peter Rijnbeek (2021). «The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies». Journal of biomedical informatics, 113: 103655.

Medina, Manuel (2022). «El derecho a conocer los algoritmos utilizados en la toma de decisiones. Aproximación desde la perspectiva del derecho fundamental a la protección de datos personales». Teoría y realidad constitucional, (49): 141-171.

Ministerio de Salud y Subsecretaría de Redes Asistenciales. (2019). «Balance de Gestión Integral año 2018». DIPRES. Gobierno de Chile. Disponible en: https://www.dipres.gob.cl/597/articles- 188371_doc_pdf.pdf [Fecha de consulta: 29-09-2023]

Ministerio de Salud. (2019). Minsal presenta sistema de gestión de pacientes con enfoque de riesgo para apoyar priorización de las listas de espera. Disponible en: https://www.minsal.cl/minsal-presenta-sistema-de-gestion-de-pacientes-con-enfoque-de- riesgo-para-apoyar-priorizacion-de-las-listas-de-espera/ [Fecha de consulta: 29-09-2023]

Monteith, Scott y Tasha Glenn (2016). «Automated decision-making and big data, concerns for people with mental illness». Current psychiatry reports, 18(12): 112.

Muñoz, Catherine y Jeanna Matthews (2021). «Sistemas de toma de decisiones automatizadas, ¿De qué hablamos cuando hablamos de transparencia y del derecho a una explicación? ». Revista Bits de Ciencia, (21): 27-36.

Newell, Sue y Marco Marabelli (2015). «Strategic opportunities (and challenges) of algorithmic decision-making, A call for action on the long-term societal effects of Datification». SSRN Electronic Journal. Published.

Ortiz de Zárate, Lucia (2022). «Explicabilidad (de la inteligencia artificial)». Eunomía. Revista en Cultura de la Legalidad, 22: 328-344.

Pasquale, Frank (2015). The black box society, The secret algorithms that control money and information. Harvard University Press.

Repositorio Algoritmos Públicos (2023). «Algoritmo para priorizar listas de espera NO GES implementado por el ministerio de salud». Universidad Adolfo Ibáñez. Disponible en: https://algoritmospublicos.cl/proyecto-algoritmo-priorizacion-lista-espera-no-ges-minsal [Consulta: 10-09-2023].

Rieke, Aaron, Miranda Bogen y David Robinson (2018). «Public scrutiny of automated decisions, Early lessons and emerging methods». An Upturn and Omidyar Network Report. 1-41. Disponible en: https://apo.org.au/node/210086 [Consulta: 29-10-2023].

Rojas, V., Burgos, J., & Aguilera, P. (2018). «Modelo de priorización lista de espera No GES con enfoque de riesgo y tiempos razonables de espera». Departamento de Estadística e Información de Salud del Ministerio de Salud, Chile. Disponible en: https://www.minsal.cl/wp- content/uploads/2018/01/Modelo-de-priorizaci%c3%b3n-y-tiempos-razonables-de-espera.pdf [Consulta: 10-09-2023].

Sangüesa, Ramon (2018). «Inteligencia artificial y transparencia algorítmica: “It's complicated". BiD: textos universitaris de biblioteconomia i documentació, núm. 41 <https://bid.ub.edu/41/sanguesa.htm>. DOI: https://dx.doi.org/10.1344/BiD2018.41.11 [Fecha de consulta: 27-08-2023].

Selbst, Andrew y Solon Barocas (2018). «The intuitive appeal of explainable machines». Fordham L. Rev., 87: 1085.

Senado de Chile (2022). «Protección y tratamiento de datos personales, claves de la modernización en trámite». Disponible en: https://www.senado.cl/proteccion-y-tratamiento-de- datos-personales-claves-de-la-modernizacion [Consulta: 18-11-2023]

Sloan, Robert y Richard Warner (2018). «When Is an Algorithm Transparent? Predictive Analytics, Privacy, and Public Policy». IEEE Security & Privacy, 16: 18-25.

Soriano, Alba (2021). «Decisiones automatizadas: problemas y soluciones jurídicas, Más allá de la protección de datos». Revista de derecho público: teoría y método, 3: 85-127.

Subsecretaría de Redes Asistenciales. (2018). «Plan nacional de tiempos de espera no GES en Chile en modelo de atención en RISS (Redes Integradas de Servicios de Salud) 2014-2018». Ministerio de Salud, Gobierno de Chile. Disponible en: https://www.minsal.cl/wp- content/uploads/2018/03/Plan-nacional-de-tiempos-de-espera-No-GES.pdf [Fecha de consulta: 29-09-2023]

Superintendencia de Salud. «Garantías Explicitas en Salud (GES)». Disponible en: http://www.supersalud.gob.cl/difusion/665/w3propertyvalue1962.html#acordeonLegislacion [Fecha de consulta: 13-10-2023].

Ünver, H. Akin (2024). «Artificial intelligence (AI) and human rights: Using AI as a weapon of repression and its impact on human rights». Disponible en: https://www.europarl.europa.eu/thinktank/en/document/EXPO_IDA(2024)754450 [Fecha de consulta: 12-06-2024].

Vestri, Gabriele (2021). «La inteligencia artificial ante el desafío de la transparencia algorítmica, Una aproximación desde la perspectiva jurídico-administrativa». Revista aragonesa de Administración pública, (56): 368-398.

Vial Claro, Felipe (2001). “La Ley No. 19.628 Sobre Protección de Datos de Carácter Persona. Una Visión General”, en Wahl, Jorge (ed.), Tratamiento de Datos Personales y Protección de la Vida Privada. Estudios sobre la Ley No. 19.628 Sobre Protección de Datos de Carácter Personal (Santiago, Chile. Ediciones Universidad de los Andes).

Vian, Taryn (2020). «Anti-corruption, transparency and accountability in health: concepts, frameworks, and approaches». Global Health Action, 13(1): 1694744.

Viollier, Pablo y Fisher, Emma (2023). «La intervención humana como resguardo ante la toma automatizada de decisiones, implicancias éticas y jurídicas». Azuaje. (coordinadora), Introducción a la Ética y el Derecho de la Inteligencia Artificia. La Ley. 151-170.

Viollier, Pablo y Contreras, Pablo (2024). «Derecho a una explicación y regulación de las decisiones automatizadas: Contrapunto entre el Reglamento General de Protección de Datos y la reforma chilena en protección de datos personales”, en Susi, Mart & Bedecarratz, Francisco (eds.). Enfoques americanos y europeos sobre los derechos humanos digitales. En edición.

Wachter, Sandra, Brent Mittelstadt y Luciano Floridi (2016). «Why a right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation». International Data Privacy, 7(2): 76-99.

Zerilli, John, Umang Bhatt y Adrian Weller (2022). «How transparency modulates trust in artificial intelligence». Patterns. DOI: https://doi.org/10.1016/j.patter.2022.100455

NORMAS E INSTRUMENTOS CITADOS

Boletín N° 11092-07 Proyecto de ley, iniciado en moción de los honorables senadores señores Harboe, Araya, De Urresti, Espina y Larraín, sobre protección de datos personales. Disponible en: https://bit.ly/3nrJ0nG.

Boletines N° 11.144-07 Y 11.092-07, Refundidos. Proyecto de ley, en tercer trámite constitucional, que regula la protección y el tratamiento de los datos personales y crea la agencia de protección de datos personales. 19/371. Disponible en: https://www.senado.cl/appsenado/templates/tramitacion/index.php?boletin_ini=11144-07

European Commission. (2021). Proposal for a Regulation of the European Parliament and of the Council Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts (COM (2021) 206 final), April 21, 2021. (EC Proposal for the AI Act).

UNESCO. (2021). First draft of the recommendation on the ethics of artificial intelligence. https://unesdoc.unesco.org/ark:/48223/pf0000373434. Véliz, C. (2020). Privacy is Power. Bantam Press

European Union Agency for Fundamental Rights. (2018). #BigData: Discrimination in data- supported decision making. Disponible en: https://fra.europa.eu/en/publication/2018/bigdata- discrimination-data-supported-decision-making [Fecha de consulta: 30-09-2023]

Koene, A., Clifton, C., Hatada, Y., Webb, H., & Richardson, R. (2019). A governance framework for algorithmic accountability and transparency. European Parliamentary Research Service, Panel for the Future of Science and Technology. Disponible en: EPRS_STU(2019)624262_EN.pdf (europa.eu) [Fecha de consulta: 30-09-2023].

Grupo de Trabajo Sobre Protección de Datos del Artículo 29. (2018). Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679.

House of Commons Science and Technology Committee. (2018). Algorithms in decision making, Fourth Report of Session 2017–19, mayo de 2018. Disponible en: https://publications.parliament.uk/pa/cm201719/cmselect/cmsctech/351/351.pdf [Fecha de consulta: 21-11-2023]

Executive Office of the President National Science and Technology Council Committee on Technology. (2016). Preparing for the Future of Artificial Intelligence. Washington, D.C. Disponible en:

https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/ NSTC/preparing_for_the_future_of_ai.pdf [Fecha de consulta: 30-09-2023]

Executive Office of the President (2016). Big data: a report on algorithmic systems,

opportunity, and civil rights. Disponible en: https://obamawhitehouse.archives.gov/sites/default/files/microsites/ostp/2016_0504_data

_discrimination.pdf [Fecha de consulta: 01-11-2023]

Ley No. 20.285, Sobre acceso a la información pública, agosto 20, 2008, Diario Oficial [D.O.] (Chile).

Ley No. 19.966, Establece un régimen de garantías en salud, septiembre 03, 2004, Diario Oficial [D.O.] (Chile).

Ley No. 19.628, Sobre protección de la vida privada, agosto 28, 1999, Diario Oficial [D.O.] (Chile).

ANEXOS

Solicitud de acceso a la información a los órganos de administración del Estado:

Respuesta Número 1, Subsecretaría de Salud Pública (2023). ORD. A/102. Responde Solicitud de Acceso a la Información Pública. Disponible en: https://drive.google.com/drive/folders/1RKaf0pWlrtLApRULRTau2ACjm_JQ8nCX?usp=s haring

Respuesta Número 2, Subsecretaría de Redes Asistenciales (2023). ORD. A/102. Responde Solicitud de Acceso a la Información Pública. Disponible en: https://drive.google.com/drive/folders/1RKaf0pWlrtLApRULRTau2ACjm_JQ8nCX?usp=s haring

Respuesta Número 3, Subsecretaría de Redes Asistenciales (2021). ORD. C27 N° 373. Criterios técnicos de priorización para usuarios no Ges. Disponible en: https://drive.google.com/drive/folders/1RKaf0pWlrtLApRULRTau2ACjm_JQ8nCX?usp=s haring