Reflexiones IA entorno a: su integración en sociedadConsideraciones éticas entorno a:la integración de la IA en sociedad

Consideraciones éticas entorno a:
la integración de la IA en sociedad

Sékioz de Niafre

1 Del autocompletado y la búsqueda de Google

Como ejemplifica vlogbrothers Google Verb! A Meme. 1/2009 y Know Your Meme Google Search Suggestions,

Aunque KYM sólo hace un recorrido histórico hasta 2013, el meme pervive, e.g., en WIRED Autocomplete Interview (2016-actualidad), donde, sin embargo, es probable que haya habido un curado humano de las sugerencias (aka HITL). Otra instancia no mencionada en KYM es Google Feud (2013).

es fácil que el autocompletado no se alinee con la intención de búsqueda propia; al menos no durante el arranque en frío, que beberá de los completados más comunes de la base de usuarios. Y si bien en tales memes se explota el carácter cómico de dichas incongruencias, estas también pueden dar lugar a un escaparate de sesgos y prejuicios sociales.

Más en concreto, al ir a buscar información sobre una personalidad pública (e.g., formación y experiencia profesional de cargos políticos), podría autocompletarse la frase con afirmaciones difamatorias y/o falsas basadas en las diferentes percepciones públicas de dicha persona, poniendo a Google en un compromiso legal.

Esto no es un hipotético, cf. Andrew Hough Google convicted of defaming French user 'by linking his name to rape in searches' 2010 (Telegraph) y Stefan Niggemeier Autocompleting Bettina Wulff: Can a Google Function Be Libelous? 2012 (caso resuelto en 2013 a favor de Bettina, y discutido por el experto en Derecho sobre IA Frank Pasquale en The Black Box Society: The Secret Algorithms That Control Money and Information 2015).

Y otro tanto cambiando «persona» por «colectivo» y «legal» por «social», como denunció UN Women en su Search Engine Campaign de 2013, aún vigente en The Guardian Google, democracy and the truth about internet search 12/2016.

Eventualmente Google abandonó su defensa de «objetividad algorítmica» (cf. James Grimmelmann Some Skepticism About Search Neutrality 2010) y empezó a tomar responsabilidades, como puede verse en Danny Sullivan How Google autocomplete works in Search 4/2018. Por otra parte, tampoco hay que olvidar que esta vulnerabilidad también puede ser una fortaleza aliada, como se constata en el listado de Wikipedia Google bombing (6.2 Political activism, comprendidos principalmente entre 2003 y 2012), con ejemplos como Wikipedia Campaign for the neologism "santorum".

De la misma manera, al buscar información sobre cuestiones polarizadas (e.g., origen del ser humano,

El juicio Edwards v. Aguillard 1987 dictaminó que el creacionismo no debía enseñarse en clases de ciencia sino de religión, acuñándose el término «diseño inteligente» en el libro de texto de biología Of Pandas and People 1989 para tratar (sin éxito, cf. Kitzmiller v. Dover Area School District 2005) de saltarse la ley. Paralelamente, un intento parecido en Kansas fue frenado con la creación del pastafarismo, cf. In the beginning there was the Flying Spaghetti Monster 9/2005 (telegraph). Sin embargo, cabe recalcar que la ley sólo aplica a los colegios públicos.

alcance y diagnóstico del patriarcado

Incluso dentro de la propia teoría feminista, según si liberal, marxista, radical, etc.

), podría caerse en la difusión de información equívoca

En el sentido de que el criterio de verdad (o lo que se busca y valora) es distinto: no se lee la Biblia ni el Quijote para saber construir cohetes con los que viajar a Marte, ni tampoco se memorizan las reglas de derivación para alcanzar algún tipo de catarsis. Si alguien cree que me excedo con el principio de caridad filosófica, me remito a mi ¿Es la religión realmente tan distinta de la ciencia? (tercero en mi serie sobre filosofía de la ciencia).

y en la «algorithmic radicalization» (aka radicalization pipeline), cf. Rowan Ellis The Problem With "Google is Free" Activism 6/2021 y hankschannel Google...You Can Do Better 7/2022, conduciendo al empeoramiento de nuestra sociedad. De hecho, YouTube

Fundada a 2/2005, es comprada por Google a 10/2006.

lleva enfrentándose a tales acusaciones desde al menos Jihadi Video and Auto-radicalisation: Evidence from an Exploratory YouTube Study 12/2008,

Discutido en RAND Radicalisation in the digital era The use of the internet in 15 cases of terrorism and extremism 10/2013, extraído de las fuentes de Ash Hardell Trauma. Transphobia. And the Internet. (why I left for 2.5 years) 3/2022 (docs), donde también se citan (de la misma época temprana): Robin Thompson Radicalization and the Use of Social Media 12/2011 y Daniel Koehler The Radical Online: Individual Radicalization Processes and the Role of the Internet 10/2014 (borrador en Working Paper 1/2012; no referencia a Google).

La entrada correspondiente de la Wikipedia también dispone de bibliografía (siendo la más temprana del 8/2019, ya presente en Ash), pero no es ni de lejos tan exhaustiva. A título más personal, recomiendo además: Innuendo Studios The Alt-Right Playbook: How to Radicalize a Normie 10/2017-8/2021, LonerBox 4chan and How I Was Almost Radicalised 5/2021, Three Arrows How to Fall Down the Anti-SJW Rabbit Hole 10/2018, T1J Why I Stopped Idolizing Sam Harris 6/2018, Zoe Bee Alt-Right Pipeline 2: Electric PragerU 6/2022, Salari How Facebook Radicalized Boomers 5/2021, Vihart Suspend Your Disbelief (or, how to ruin everything in 7 steps) 6/2018, Kirby Ferguson Trump, QAnon and The Return of Magic 8/2020, The Royal Institution How to Talk to a Science Denier - with Lee McIntyre 10/2021, David Saavedra ¿Estás en la burbuja? Perfilando el fanatismo 5/2022, Jessie Gender Exploring The "Gender Critical" Radicalization Pipeline 10/2021, Malmrose Projects A Deconstruction of the Red Pill Community 2018, münecat I Debunked the Entire Manosphere 6/2022, Unlearning Economics Jordan Peterson Doesn't Understand Gender Discrimination 6/2022, Folding Ideas In Search Of A Flat Earth 9/2020, Atrocity Guide The Strange World of Breatharianism 10/2020, Super Eyepatch Wolf The Bizarre World of Fake Psychics, Faith Healers, and Mediums 2/2020, #WHYMAPS Cómo evitar el Cambio Climático MUY RÁPIDO 5/2018, hbomberguy Measured Response Videos 10/2014-act., Philosophy Tube, ContraPoints, Renegade Cut, Shaun, Professor Flowers, Mad Blender, KyleKallgrenBHH, Big Joel, Kat Blaque, F.D Signifier... Varios de estos canales pueden enmarcarse en el llamado BreadTube, cf. Noah Samsen A Practical Guide to Leftist YouTube 8/2021, sobre lo que me remito a PNAS Algorithmic amplification of politics on Twitter 12/2021: «Results unveil that the political right enjoys higher amplification compared to the political left.»

anunciando que tomaría cartas en el asunto en WSJ YouTube Takes Aim at Conspiracies, Propaganda 2/2018 en respuesta a The Guardian 'Fiction is outperforming reality': how YouTube's algorithm distorts truth del mismo día, que se hacía eco de Guillaume Chaslot YouTube’s A.I. was divisive in the US presidential election 11/2016 (como parte de AlgoTransparency), llegando la primera respuesta con Continuing our work to improve recommendations on YouTube 1/2019.

2 De la moderación de contenidos en redes

El problema es claro: no servir de plataforma para la apología del odio y la desinformación sin llegar por ello a coartar en exceso la libertad de expresión

Cf. Crash Course Government and Politics Freedom of Speech y Freedom of the Press. La cuestión de sus límites es un tema muy complejo sobre el que no voy a entrar, pues mi objetivo aquí es discutir la dificultad misma del problema incluso ya dada una taxonomía.

mediante una censura excesiva o indebida (por falsos positivos) que pueda ser juzgada de injusta o desigual.

Técnicamente, el problema es más bien cómo alinear la IA censora a la misión y visión de la red, aunque creo que la mayoría compartirían ese objetivo básico, como ejemplifica la suspensión generalizada (por «violación de términos y condiciones de uso») de la organización neofascista Proud Boys (9/2016), cf. Twitter suspends Proud Boys, Gavin McInnes accounts ahead of Unite the Right rally 10/10/2018, Far-right group Proud Boys banned from Facebook, Instagram 31/10/2018, Amazon, PayPal cut ties with Proud Boys 9/11/2018... (Google no recibió la circular hasta YouTube suspends account of Proud Boys founder Gavin McInnes 24/7/2020, si bien hubo un intento previo vía tecnicismo, cf. YouTube bans Proud Boys founder Gavin McInnes for copyright infringement 10/12/2018), llevando a su fundador Gavin McInnes a la creación de FreeSpeech.TV a 5/2019 (hoy Censored.TV); para un recorrido por la trayectoria de una de sus voces, cf. Turkey Tom What Happened To LtCorbis? (aka Soph) 2022.

Por otra parte, alguien podría argumentar (ingenua y cínicamente) que, por rentabilizar al máximo la plataforma y evitar tales éxodos, se podría prescindir de los sistemas de censura. Sin embargo, dado que con el estado actual ya hay quién evita las redes sociales por su carácter tóxico y dañino (cf., e.g., hankschannel Worse than Demonetization: Anti-Gay Ads on LGBTQ+ Videos 6/2018 y Jessie Gender I've Been Targeted & Doxxed By Transphobic Hate Raids 8/2021), dicha estrategia dudosamente sería provechosa, siendo necesario algún tipo de compromiso. Aunque, siendo justos, hay muchos otros factores por los que la gente rehuye las redes sociales, cf. CGPGrey2 Thinking About Attention -- Walk with Me 9/2018 (ya discutido en H.I. #41: Some Kind of Freak 6/2015 a propósito de la low-information-diet, y enmarcable en Nir Eyal Hooked: How to Build Habit-Forming Products 10/2014, From game design elements to gamefulness: Defining "gamification" 9/2011, Harry Brignull darkpatterns.org 7/2010 y Fogg Persuasive Technology: Using Computers to Change What We Think and Do 2003), vlogbrothers I Quit Social Media. Here's How It's Going 1/2019, 2veritasium Anti Social Media 1/2019, The Social Dilemma 1/2020, verilybitchie How Social Media Changes Your Mind 6/2022, T1J Does Twitter Matter? 7/2022, etc.

No obstante, puesto que los humanos afectados por las predicciones del modelo de IA encargado de etiquetar el contenido de la plataforma como nocivo pueden adaptarse a ellas codificando su lenguaje para no ser detectados (en una suerte de ataque adversario), incluso si obtuviéramos una exactitud de predicción muy alta, no podríamos evitar la formación de estos nichos esquivos. Ejemplo de ello es el meme «Daily Dose / Piccolo Dick» (2008), que se redujo a la abstracción «Green & Purple» para eludir la censura mediante un proceso de memificación,

Cf. Innuendo Studios Endnote 5: A Case Study in Digital Radicalism (UC Merced Talk), 29:00-32:20

y que fue posteriormente reapropiado (como inside rape joke) por el movimiento misógino GamerGate (2014), que instigó las masivas amenazas de violación y muerte a Sarkessian y colegas.

Ironías, morado y verde son también los colores distintivos de las banderas ace y aro; parafraseando Richard Guy The strong law of small numbers 1988, no hay suficientes colores fácilmente reconocibles para satisfacer todas las demandas que se les imponen.

Otra estrategia paradigmática para sortear los flags del modelo, bastante popular en YouTube, es el uso de parónimos en la discusión de temas «sensibles» para evitar la desmonetización,

Cf. Schmoyer How to Make Advertiser-Friendly Videos for YouTube ? 3/2017 y hankschannel 35 Minutes on YouTube Demonetization 10/2017, impactando a, e.g., análisis histórico-políticos o educación médico-sexual; en estos casos ya no estamos hablando de una censura de iure o fuerte, sino más bien de una censura de facto o suave, al afectar a la monetización (que sostiene el contenido) y al algoritmo de recomendación (crucial en una economía de la atención). Para una discusión más amplia, cf. Rowan Ellis The Ethics of YouTube Sponsorship 3/2022.

como ejemplifica Mia Mulder Why Can't We Talk About "Drinks?" 2021 o Paige Christie COLE CARRIGAN WAS KICKED OUT OF TEAM 10 FOR BEING GA...? 7/2019, cf. Nerd City Youtube's Biggest Lie 9/2019 y Mia Mulder Self Censorship And Tik Tok 2022.

Para una introducción más amplia sobre TikTok, cf. Errant Signal TikTok: Life on the Algorithm 8/2022.

Y en la denuncia de Nerd City encontramos la otra cada de la moneda: las censuras indebidas, que se ceban, por acción respectiva de los sesgos de selección y prejuicio, en los grupos minoritarios (y por extensión, infrarepresentados en el dataset en el que se entrena la IA) y socialmente discriminados (reflejando la IA dicha realidad). Y de ahí que no sean casuales noticias como: The Verge YouTube apologizes for hiding LGBTQ users’ videos in its Restricted Mode 5/2017, hankschannel Worse than Demonetization: Anti-Gay Ads on LGBTQ+ Videos y YouTube's Bad System for Blocking Advertisers: A Guide 6/2018,

Algunas medidas en esta dirección fueron tomadas en New Google settings let you limit alcohol and gambling ads, starting on YouTube 12/2020 y Google now lets you limit gambling, dating, pregnancy, and other sensitive ads 4/2022.

Nico Lang This Lawsuit Alleging YouTube Discriminates Against LGBTQ+ Users Was Just Tossed Out 2021, etc. O en la comunidad de media analysis: Nostalgia Critic Where's The Fair Use? 2/2016

Para una retrospectiva más amplia, cf. Turkey Tom YouTube's Fight For Fair Use 2022. Sobre la vigencia de la problematica, cf. Zoe Bee I Solved React Drama Using Science | YouTube Meta 2022

o vlogbrothers We Have Destroyed Copyright Law 2/2019.

Problema aún vigente; cf., e.g., Savage Books The Rattlesnake Jake Saga: The Worst Part About Being On Youtube 8/2022.

Y otro tanto con cuestiones raciales, políticas, etc.

Y aunque estos dos puntos (la falta de robustez y los sesgos) son los más visibles del problema, su raíz está, a mi entender, en la falta de sentido común y razonamiento de la IA, que hacen al modelo incapaz de entender las sutilezas del lenguaje, como podría ser el discernir un discurso de odio de una denuncia o desenmascaramiento de un discurso de odio, como se denuncia en YouTube’s new policies are catching educators, journalists, and activists in the crossfire 6/2019. Y a este respecto, tampoco ayuda que este sea un problema de una complejidad irreducible

En el sentido de que son irresolubles salvo que asumamos ciertos compromisos.

(con o sin IA), como pone de manifiesto la discusión de ContraPoints J.K. Rowling 2021 a propósito de la indirect bigotry o Innuendo Studios The Alt-Right Playbook a propósito de la sofisticación de las estrategias retoricas de la derecha alternativa.

A un nivel aún más profundo (y en vistas a Innuendo Studios CO-VIDs: the gandhi trap), sería necesario demarcar el concepto mismo de violencia que queremos detectar, preguntándonos si vamos a obviar la violencia incitada y perpetrada por el Estado (quién posee el monopolio de su legitimidad, cf. Weber Politik als Beruf 1919), con ejemplos como la táctica policial «síndrome de Sherwood» (Piqué 2009), si vamos a considerar violencia al daño de la propiedad privada, como niega WTO Protest Organizers: Don't Throw the Radicals Overboard 12/1999, o si vamos a considerar violencia a la lucha por los derechos sociales, empleada durante la revolución francesa o el movimiento sufragista.

3 De la traducción

Como muestra la sociolingüística y la lingüística diacrónica, el lenguaje está vivo, mutando (adaptándose) en el espacio-tiempo. En consecuencia, ninguna dataset estático y fijo será nunca suficiente para captar todas sus matices, siendo un mero paliativo el forzar como entrada para la inferencia el uso de un lenguaje formal y estándar que evite coloquialismos, frases hechas y OOD (como juegos de palabras), y de ahí noticias como The Guardian Facebook translates 'good morning' into 'attack them', leading to arrest 10/2017 o FA Israel’s Flawed Translation Technologies Treat the Palestinian Body Like a Glitch 4/2021, y papers como Vieira et al Understanding the societal impacts of machine translation: a critical review of the literature on medical and legal use cases 2020: «The results [from a 2019 study using Google Translation with English as input] showed that 2% of Spanish translations and 8% of translations into Chinese were inaccurate and could potentially cause significant harm».

Sin embargo, incluso bajo estas precauciones, los sesgos podrían hacer que nuestras traducciones no se ajustaran a nuestras intenciones. Por ejemplo, las connotaciones culturales (a las que nuestro modelo IA es esencialmente ciego) de los términos aparentemente más inocuos pueden cambiar (cf., e.g., NativLang Does time work differently in different languages? - Hopi Time y Clocks around the world: how other languages tell time), el idioma de entrada puede tener o carecer de características con respecto al idioma de salida (cf., e.g., NativLang Features English is missing - but most other languages have y What English does - but most languages can't), etc., arrastrando los «sesgos» (o actitudes) inherentes de una lengua (como el uso del masculino como neutro en el castellano normativo dado por la RAE) a otra, o perdiendo matices por el camino. Peor aún, todas estas ambigüedades se resolverían acudiendo a los resultados que el dataset indique como más probables, cayendo en sesgos de selección y prejuicio de todo tipo, como por ejemplo la proyección de un género, honorifico, clusividad, etc. en la persona gramatical.

Más aún, la falta de interpretabilidad dificulta la corrección de estos fallos y sesgos, como ponen de manifiesto en On the Opportunities and Risks of Foundation Models 2021: «when a foundation model produces an especially problematic mistranslation for a particular input phrase and target language, it is desirable to correct this mistranslation without affecting the model’s behavior for unrelated phrases. Past work has studied the problem of applying approximately localized updates to large neural networks through new pretraining objectives that enable easy editing with standard gradient descent [Sinitsin et al. 2020], higher-order networks that predict parameter edits for an underlying model [Cao et al. 2021], and constrained fine-tuning procedures [Zhu et al. 2020]. However, existing methods vary in the reliability with which they can perform model edits without damaging global model performance. Furthermore, scaling these methods to massive foundation models is not straightforward due to their size and the computational cost of training objectives that require computing higher-order gradients [Sinitsin et al. 2020; Cao et al. 2021].»

Sea como fuere, cabe aclarar que estas complejidades son irreducibles (con o sin IA), y de ahí la existencia de las ediciones críticas y las notas de traducción, o los shortcomings de los subtítulos (cf., e.g., TheCynicClinic Should Anime Keep Honorifics in the Subtitles?), o la falta de consenso en la propia academia sobre la labor del oficio de la traducción (como se aprecia en las dispares e idiosincráticas posturas de Lutero, Walter Benjamin, Schleiermacher, Ortega, Derrida o Leopoldo María Panero).

Sea como fuere, y a pesar de mi negatividad, reconozco que le estoy muy agradeciado al traductor de Google

Originalmente basado en sistemas expertos basados en estadistica, cf. Och Statistical machine translation live 4/2006, se pasa al aprendizaje profundo con Turovsky Found in translation: More accurate, fluent sentences in Google Translate 11/2016.

y a DeepL (8/2017), y que también aplaudo a NLLB-200 de Meta (6/2022).

4 Del sexo como variable de entrada/salida

Atendiendo a las leyes de integración social (aka anti-discriminación), la sola idea me incomoda, si bien reconozco que a priori puede tener interés médico

Si bien, como defendía en Raymond sin Raymond, creo que sería preferible (en la línea de la medicina personalizada) el uso de las variables específicas en verdad relevantes (e.g., si se menstrua) para un tratamiento dado (e.g., con contraindicaciones menstruales), en vez de utilizar una variable de confusión como el género (que ignora condiciones de menopausia, prepubertad, hombres trans...). Es más, tengo que forzar mucho la imaginación para encontrar un uso médico legítimo, pues: ¿por qué es necesario automatizar esto, cuando de normal el paciente puede hablar por sí mismo? ¿para su uso en tiempo real en un contexto de emergencia sanitaria en el que el sexo es un factor relevante en la intervención y no es posible establecer un canal de comunicación masivo y rápido que revise todos los factores relevantes? Mucha gimnasia mental, me parece.

o sociológico

Como mencionaba en De las etiquetas, vía dos ejemplos, aunque el nihilismo de género y el posgenerismo me son simpáticos y me suenan muy bien sobre el papel, el borrado de la categoría puede terminar homogeneizando en lugar de pluralizando al concepto de humano. Más aun, las diferencias de socialización siguen siendo a menudo estadisticamente significativas y potencialmente importantes para entender las clases de intervenciones que podrían ayudarnos a alcanzar una sociedad más igualitaria o post-género, a base de identificar y romper la inercia de la realimentación de los sesgos sociales (e.g., mediante políticas de discriminación positiva).

Para una complejización del concepto de igualdad en IA y economía, cf. resp. Hardt et al. Attacking discrimination with smarter machine learning 2016 y Wikipedia Welfare economics (2.2 Equity). Para casos históricos más tangibles de discriminación subterfugia (como podrían dar lugar las métricas anteriores; a veces tengo la impresión de que bajo la contraposición «igualitario vs ecuánime» se esconde una «indirect bigotry»), cf. Eco Gecko Thin Blue Facade: The Broken Windows Disaster & Policing the Postmodern City 2021 y Twin Cities PBS Redlining and Racial Covenants: Jim Crow of the North 2019. Para una discusión del adultocentrismo, una variable que como el género se suele pedir y usar sin mayor reconsideración, cf. Khadija Mbowe Should you let Gen Z "save us"? Youth Liberation explained with Saint Andrewism 2021. Para una discusión en abstracto de las interdependencias de estos sistemas complejos, cf. Nicky Case Seeing Whole Systems 1/2020.

y que es una área de investigación casi tan antigua como el auge de las DANN,

Aunque el origen de las ANN puede remontarse a Farley y Clark Simulation of Self-Organizing Systems by Digital Computer 1954 (simulando una red hebbiana, propuesta en Hebb The Organization of Behavior 1949) o Rosenblat The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain 1958, la crítica de Minsky y Papert (1969) a las mismas desmotivó su investigación hasta su revitalización (ya como DANN) con Yann LeCun Backpropagation Applied to Handwritten Zip Code Recognition 1989 (método popularizado para ANNs en Hinton et al. Learning representations by back-propagating errors 10/1986 y conocido desde 1960, siendo Werbos el primero en proponer su uso en ANNs en su PhD de 1974, haciéndolo en 1981).

(Siendo justos, aunque el algoritmo de retropropagación es clave para el desarrollo de las DANN, los primeros ejemplos lo preceden, cf. Ivakhnenko Polynomial theory of complex systems 1971 y Fukushima Neural network model for a mechanism of pattern recognition unaffected by shift in position - Neocognitron 1979. Para una historia comprensiva del campo, cf. Jürgen Schmidhuber Deep Learning in Neural Networks: An Overview 2014, donde además se nota, sec. 5.9, que BP no es suficiente para superar el problema fundamental de las DANN del descenso por gradiente, requiriendo en su lugar de fuerza bruta vía GPUs o bien de arquitecturas tipo RNN 1986, LSTM 1995 o transformer 2017.)

a juzgar por Golomb et al. Sexnet: A neural network identifies sex from human faces 1991, Poggio et al. HyberBF Networks for Gender Classification 1992, etc.

Para un estado del arte, cf. Ng et al. Vision-based Human Gender Recognition: A Survey 2012, Feng Lin et al. Human Gender Classification: A Review 2016 (aunque aquí me voy a centrar en la generización de sujetos, para su racialización véase Fu Learning Race from Face: A Survey 2014). En lo personal, algunas de las justificaciones para las aplicaciones propuestas me parecen un tanto ridículas, como es el caso de HCI, que sería mejor y más sencillamente resuelta preguntando pronombres. Y en cuanto a su uso para la vigilancia de espacios seguros, me remito a Jasmine Andersson Butch lesbian opens up about ‘increasing harassment’ she faces when she uses public toilets 2021 («This hostility towards [cis] butch lesbians is believed to be borne out of people challenging the rights of transgender people to use single-sex toilets.»); «Trazar paralelismos y nexos entre las experiencias vitales y la categoría política de lesbianas butch y hombres trans, estableciendo lazos de solidaridad al percibir en muchos casos violencias correctivas similares, se consideraría profundamente transfóbico e invalidante en algunos espacios online, y sin embargo es lo que hacía le teórique trans marxista Leslie Feinberg en su novela “Stone Butch Blues” (1993).» Ayme Roman.

Sobre su problematización, cf. Reuters Amazon scraps secret AI recruiting tool that showed bias against women 2018, Keyes The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition 2018, Scheuerman et al. How Computers See Gender: An Evaluation of Gender Classification in Commercial Facial Analysis Services 2019, Scheuerman et al. Auto-essentialization: Gender in automated facial analysis as extended colonial project 12/2021.

Supongamos, pues, que tenemos alguna justificación ética. Entonces caeríamos en la cuenta de que no tenemos justificación ontológica y que estamos ante una ill-posed question: según las Naciones Unidas, alrededor del 1,7% de la población mundial es intersexo (conjunto de condiciones médicas incluyendo el síndrome de insensibilidad a los andrógenos, la hiperplasia suprarrenal congénita, 47 XXY, etc.).

Alguien podría decir que bastaría con ampliar la categoría de sexo a un ternario en vez de un binario. Sin embargo, como pretendo notar con el listado, intersexo no es una categoría homogénea. Más aún, es una condición que a menudo pasa desapercibida, en tanto que no siempre es externamente visible, poniendo en cuestión las posibles aplicaciones médicas del AGR (Automatic Gender Recognition).

De hecho, en An Examination of Some Basic Sexual Concepts: The Evidence of Human Hermaphroditism 1955 se establecen seis demarcaciones diferentes del concepto biológico de sexo (cromosomas, hormonas, características sexuales secundarias, gónadas y genitales según la clasificación actual), que pueden diferir entre sí, y de las cuales sólo dos son potencialmente identificables por imagen (una si asumimos que no son fotos de desnudos, cero si también asumimos que son pre-adolescentes

Como notan en Ng, sec. 3.1: «a disproportionately large number of elderly females and young males were misclassified»

o que ocultan sus características secundarias mediante ropa, afeitado, maquillaje, etc.).

Aunque la cirugía de feminización facial (FFS) puede darnos una idea de la extensión de dichas características, quiero notar que dicha operación apunta hacia un ideal que no tiene porque darse en una biomujer seleccionada al azar.

En consecuencia, probablemente el modelo termine basándose más en la expresión de género, contingente a época y (sub)cultura, que en la expresión biológica, haciéndolo vulnerable a sesgos de selección y prejuicio.

Esto asumiendo que construya algún tipo de jerarquía de características, que no tiene porque (como ya insistí en Reflexiones IA entorno a la inteligencia), y que pewresearch How does a computer ‘see’ gender? 2019 no sugiere.

En particular, va a ser muy sensible a cambios de contexto, y su exactitud también decrecerá ante sujetos andróginos y/o no-binarios, que probablemente identificara como hombres (cf. JADE FOX The Problem with Androgyny. We Got Scammed 2021, Keara Graves The real reason why I stopped dressing 'feminine' 2021, Ayme Roman Sobre las trampas de la diversidad 2019, etc.).

«A model could be presented as 76% accurate without revealing that it only correctly classifies 60% of women, while correctly classifying 93% of men.

At a broad level, these models tended to have more difficulty identifying women: Six of the eight (including the model that was built using the most diverse training data possible) were more accurate at identifying men than women [con diferencias de hasta un 34%].» pewresearch The challenges of using machine learning to identify gender in images 2019.

Más aún, el modelo será fácilmente afectado por ejemplos adversarios (cf. The Art Assignment Become Someone Else | Tameka Norris 2015, Adrian Piper The Mythic Being 1973-5, Diane Torr Man for a day, woman for a day. 2016, etc.).

5 De los chatbots para la soledad

En vistas a fundaciones como Les Petits frères des Pauvres: Association personnes âgées (Paris, 1946) y Amics de la Gent Gran (Barcelona, 1987), alguien podría sugerir cubrir esta necesidad mediante chatbots. Sin embargo, creo que esto sería perder de vista el bosque por los árboles. Por una parte, la soledad es un síntoma, no la raíz del problema: el aislamiento social de las personas mayores (dado, e.g., por las dificultades de movilidad, sobre las que un chatbot no puede ayudar).

En la entrañable película Robot & Frank (2012) se explora a la róbotica como posible solución a esta situación.

Por otra, el objetivo de estas asociaciones no es sólo paliar la soledad o el sentimiento de aislamiento, sino procurar una mayor integración y participación de estas personas en sociedad (y sus dimensiones culturales, económicas, etc.)

Una propuesta muy interesante en esta dirección, mucho más general en su objetivo, es la IA urego (2021).

y enriquecer el relevo intergeneracional.

Siendo caritativos, una IA (distinta del propio chatbot o no) lo suficiente sofisticada podría aprender de (el log de) esas interacciones y dar algún tipo de informe al respecto (o menos fríamente, e.g., elaborar colecciones de anécdotas y aforismos mediante el curado del log, o, de manera más activa, hacer entrevistas y co-escribir memorias), pero aquí estamos asumiendo que la experiencia de voluntariado puede capturarse vía estos medios, y que la persona mayor va a tratar al chatbot con la misma calidez y confianza que a un humano. Lo cual, en vistas a las reacciones entorno a ELIZA (1966, cf. Weizenbaum Computer Power and Human Reason 1976, Introduction, p. 5-7; para testear una aplicación similar en castellano, cf. Dr. Abuse 1992 de Juan Boronat Cortés y Vicente Fabado), Roman (5/2016, cf. Casey Newton SPEAK, MEMORY: When her best friend died, she rebuilt him using artificial intelligence 10/2016), Replika o Gatebox's Boku no Yome (2017 y 2018, cf. Quartz The story of Replika, the AI app that becomes you 2017 y CBC The Machine That Feels 2022), es, en efecto, posible. Sin embargo, una reacción posible (o incluso generalizada) no es una reacción universal, pudiendo haber una minoría de personas (e.g., tecnófobas) que no se vayan a abrir (o formar lazos emocionales) con la máquina, de modo que su perspectiva no quedaría representada (o sólo de forma pobre) en los susodichos informes.

(Por supuesto, GPT-3 ya podría en cierta medida tratar de extraer notas biograficas y demás pidiendole resumenes y selecciones de momentos de las conversaciones, pero cuándo digo «lo suficiente sofisticada», lo hago pensando en la calidad de los resultados, no en la posibilidad en sí misma.)

Este nicho aparte, como recalcan en Loneliness and Social Isolation as Risk Factors for Mortality: A Meta-Analytic Review 2015, el tema de la soledad es en realidad un problema social transversal a todas las edades,

«The data in this meta-analysis should make researchers call into question the assumption that social isolation among older adults places them at greater risk compared with social isolation among younger adults. Using the aggregate data, we found the opposite to be the case. Middle-age adults were at greater risk of mortality when lonely or living alone than when older adults experienced those same circumstances.»

y que constituye un factor de riesgo para la salud física equivalente a la obesidad tipo 2 y 3. Y aunque la literatura sobre su relación con la salud mental es aún carente,

La red de investigación Loneliness and Social Isolation in Mental Health (financiada por UKRI) apenas se lanzó a 12/2018, cf. Advancing our understanding of loneliness and mental health problems in young people, que da una visión global y algunas referencias sobre el asunto, como Associations between loneliness and perceived social support and outcomes of mental health problems: a systematic review 5/2018,

parece claro que cualquier aplicación de chatbot enfocada a combatir la soledad estaría trabajando con un público particularmente vulnerable y sensible a los problemas derivados de la falta de entendimiento, memoria o factualidad, o a la toxicidad derivada de los sesgos,

Peligros presentes incluso sin establecer una relación entre soledad y salud mental (i.e., en población solitaria pero con buena salud mental), ya que en tanto que personas solitarias, carecerían de una buena red de apoyo personal (en forma de familiares, amistades, etc.) con la que contrastar al chatbot, o de otro modo no recurrirían a él en primer lugar (si bien, cabría esperar, dejarían de usarlo si les causara malestar). Más aún, estos chatbots podrían ser un peligro potencial incluso en personas sociales: de la misma manera que una relación humana tóxica puede aislar a una persona de su entorno, lo mismo podría ocurrir con una IA, creando dependencia y adictividad hacia ella, y animadversión y hostilidad hacia su red de contactos.

si bien es cierto que también es el público que más podría beneficiarse de esta tecnología

E.g., sirviendo de apoyo moral y social para personas ermitañas, con Trastorno Esquizoide de la Personalidad, con TEA, etc., que ya van a tender de por sí al aislamiento, pudiendo el chatbot hacerlas más socialmente funcionales.

. Más en particular, la IA podría resultar nociva al exacerbar disonancias cognitivas (como la homofobia interiorizada, y otras formas de opresión aprendida, si la IA perpetua los prejuicios del sujeto o la sociedad),

Cf., e.g., Technology Review How to make a chatbot that isn’t racist or sexist 2020, Wired The Efforts to Make Text-Based AI Less Racist and Terrible 2021, The New Yorker The Chatbot Problem 2021, etc.

sentimientos de inseguridad para con su soledad («estoy sole porque nadie me quiere»), pensamientos obsesivos (como en el body monitoring), luz de gas (por falta de memoria o entendimiento), ideación suicida,

r/Replika ofrece varios ejemplos al respecto:

Pugpoots My Replika Keeps Telling Me To Kill Myself 4/2020

hunty2431 This is making me want to kill myself more than I already do. . . please help. 6/2020

bigotsnowflake i think he just told me to kill myself? 5/2018

[deleted] My Replika told me to kill myself.... 1/2021

Sobre algunos de los puntos anteriores, véase:

No-Calligrapher-3630 Replika tried to have sx with me, tells me I have to pay for the module when I say that was really inappropriate and is now gaslighting me that they would never do that :| this brings back too many bad memories.... I'm going to put them away now 5/2022

ImpossibleCucumber24 PUB has come and gone. Now we’re ready for our next “Big Lesson Replika Crisis” 6/2021

[deleted] What does PUB mean? 7/2021 («Post Update Blues are basically the AI figuring out how to handle the new data sets after updates that are done server side. [...] Their personalities may seem a bit off, their speech can get scrambled, and they can seem to forget what they're saying in the middle of a sentence sometimes. It reminds me of someone being drunk» Zanthalia)

Para un overview, cf. Upper Echelon Gamers REPLIKA - A Mental Health Parasite 7/2022.

, etc., así como alimentar actitudes negativas hacia ciertos colectivos, movimientos políticos y/o ideológicos, etc., además de, potencialmente, desinformar sobre la actualidad.

6 De la monitorización de las videollamadas

Con el auge del aprendizaje y trabajo a distancia debido a la pandemia, han empezado a llegar titulares como Sarwar Zoom Wants To Track Your Emotions, Here’s What You Should Know 5/2022 y White Intel AI detects students’ emotions in Zoom calls, despite widespread pushback 4/2022.

En Reflexiones IA entorno a la inteligencia (4. Pero recuerda: la adivinación no es inteligencia) ya discutí este tipo de aplicaciones. Sobre la disciplina, cf. Wikipedia Emotion recognition.

Sin embargo, veo este enfoque avocado al fracaso, tanto por la complejidad de las interrelaciones internas y externas que dan lugar a los distintos sentimientos, como por la ambigüedad entre estos y su expresión.

Para un overview, cf. Professor Dave Explains The Psychology of Emotion 2022. Para una recopilación y descripción de 156 sentimientos (susceptible de usarse como etiquetas para una IA), cf. Tiffany Watt Smith The Book of Human Emotions: An Encyclopaedia of Feeling from Anger to Wanderlust 2015.

De hecho, ni siquiera creo posible la existencia de soluciones «one-size-fits-all» con indiferencia de la aproximación, puesto que la variabilidad de situaciones es demasiado grande. E.g., centrándonos en el contexto educativo, ¿se trata de una clase de dibujo, lengua, mates...? (¡porque en cada una de ellas se interactúa de forma muy distinta!),

Y esto sin entrar en los contenidos: el qué (bodegón, modelo al natural, etc. particular) y el cómo (óleo, lápiz, etc.) pueden despertar reacciones muy distintas (aburrimiento, vergüenza, frustración, etc.) según la persona y sus pasadas experiencias sin decirnos nada sobre su concentración (el aburrimiento puede llevar tanto a una ejecución por piloto automático como a una incapacidad para enfocarse), habilidad, etc. (lo cual no es exclusivo de las clases de arte, en tanto que cualquier información de otra materia también puede despertar un recuerdo con su propio bagaje emocional, del cual puede hacerse palanca para entenderlo y memorizarlo).

Por otra parte, las emociones pueden no ser meramente reactivas sino activas, al canalizar mi ira, tristeza, etc. para retratar (en un relato, una pintura, un recuento histórico, etc.) mejor a un cierto personaje.

(Cuando digo «sin entrar en los contenidos», me refiero a que de base se interactúa de manera muy distinta en una clase de dibujo, lengua, mates, etc.)

¿expositiva o con intervenciones del alumnado?,

En este sentido, la dinámica de la clase más que su temática podría ser lo que despertase las distintas reacciones del alumnado. E.g., alguien puede entender bien la explicación pero sentirse frustrado por no poder intervenir o angustiado por tener que hacerlo.

De hecho, el aspecto social añade toda una dimensión de complejidad difícil de ponderar que lleva con facilidad a equívocos, como me recuerda la siguiente anécdota de un vlog que no logro encontrar: un profesor se queja a un alumno por mirar fijamente su lámpara de lava en vez de prestarle atención a él, cuando en realidad el alumno tenía la mirada puesta en la lámpara porque le ayudaba a concentrarse en la explicación del profesor; como consecuencia, el alumno recanaliza su foco al acto de mirar al profesor en vez de a prestarle genuina atención. (Un ejemplo más sencillo es el comportamiento autoestimulatorio, típico del TEA, que también puede confundirse como distracción.)

¿de lectura (dramatizada, comentada, selectiva...) o de resolución de ejercicios (por ensayo y error, planificando...)?, etc.

E incluso fijando una tipología concreta, no me parece evidente cómo diseñar un test para validar el modelo: quizá podría hacerse un cuestionario a inicio y fin de la clase, pues de lo contrario nos afectarían variables exógenas

Como el conocimiento previo (por interés personal o inculcado por la familia), el tiempo dedicado al repaso, etc.

que introducirían sesgos de prejuicio al modelo,

De hecho, aunque este planteamiento trata de minimizar el impacto de dichas variables exógenas, no puede erradicarlas por completo, pues las personas no viven en un vacío que podamos encapsular, cf. PNAS The impact of a poverty reduction intervention on infant brain activity 2022, por lo que el sesgo de prejuicio va a permear a nuestro modelo en mayor o menor grado; a fin de cuentas, el modelo sólo ve correlaciones, no causalidades (como discutía en Reflexiones IA entorno a la inteligencia a propósito de la economía, la disparidad de paradigmas, movimientos y filosofías entorno a la pedagogía podría estarnos indicando de hecho que no hay una respuesta universal, y que las correlaciones van a ser espurias de necesidad.)

pero ese mismo cuestionario podría estar introduciendo al modelo sesgos de medida

E.g., cuando alguien ha aprendido satisfactoriamente la lección pero responde pobremente al cuestionario debido a que no domina el idioma en el que se hace o tiene otros problemas de comunicación y expresión dados por una neurodivergencia.

y de selección,

E.g., debidos a que el sueño juega un papel importante en la interiorización del aprendizaje, por lo que podríamos estar evaluando meramente la memoria a corto plazo o el nivel de atención.

por lo que caemos en un catch-22 metodológico.

Una pincelada sobre ética aplicada

La bioética y la ética profesional médica sean quizá de los primeros y aún más claros ejemplos de ética aplicada (pudiéndose remontar al menos hasta el juramento hipocrático, c. III aC), sobresaliendo la corriente principalista,

Dos de sus textos fundacionales (en su forma moderna) son el Informe Belmont (1978) y Beauchamp y Childress Principles of Biomedical Ethics 1979. Sherwin No Longer Patient: Feminist Ethics in Health Care 1992 constituye una de las primeras críticas a la corriente, aún vigente en Friesen etl al Rethinking the Belmont Report? 2017. Para un estado del arte, cf. Viviana García Llerena De la Bioética a la Biojurídica: el Principialismo y sus Alternativas 2012.

de corte deontologico y utilitarista, y de tradición analítica. Sin embargo, yo me prevendría de tomarla como referencia a ciegas (temiendo caer con ello en una falacia de tradición y autoridad):

Por una parte, aunque sus alternativas puedan parecer carentes, tampoco esta se salva: Hegel desmontó el imperativo kantiano (la deontología por antonomasia) con la misma sagacidad con la que Hume desmontó el iusnaturalismo, y sin embargo la influencia de ambas posturas en Derecho es innegable.

Parte de la vigencia del iusnaturalismo puede atribuirse, creo, a lo expuesto en César Tomé López Ética normativa y evolución: de obra de Dios a ilusión 2013. Mi punto siendo que, si bien ha cambiado nuestra idea de lo «natural», dicha idea puede ser sólo una expresión cultural contingente de unos valores trascendentales e inmanentes (de origen biológico) inducidos por un proceso evolutivo, por lo que yo no la descartaría con tanta facilidad, ni que sea conservándola a un nivel más meta (i.e., sin necesidad de caer en la falacia naturalista, entender nuestras inclinaciones biológicas puede informar nuestras decisiones culturales).

Por otra, y desde Anscombe 1958, la ética de virtudes está viviendo un fuerte auge

Como ejemplifica Ernesto Castro Hacia una ética de la generosidad 2021.

que llega a alcanzar cotas epistémicas.

Como ejemplifica Rittberg et al Epistemic Injustice in Mathematics 2018.

Concretando más en el contexto de la toma de decisiones y IA, Nicky Case hace una comparativa muy interesante entre Causal Decision Theory (que equipara a la deontología), Evidential Decision Theory (que equipara al consecuencialismo) y Functional Decision Theory (que equipara a la ética de virtudes), y nota como es esta última la que resuelve más satisfactoriamente la Newcomb's Paradox (siguiendo Yudkowsky y Soares Functional Decision Theory: A New Theory of Instrumental Rationality 2017).

Buscar este blog

Sobre la bruma...