Los investigadores de Caltech exploran el cambiante panorama y el complejo futuro de la IA, trazando un rumbo para su desarrollo y aplicación éticos.
A medida que los investigadores de Caltech y otros lugares han trabajado para desarrollar tecnologías de inteligencia artificial para realizar investigaciones científicas cada vez más intensivas y críticas en el uso de datos, ellos y sus colegas también han buscado orientar el desarrollo ético de esas tecnologías, trabajando con líderes de la industria y el gobierno para evaluar cómo el creciente enredo de la sociedad con la IA dará forma al camino a seguir.
Pietro Perona, profesor de Ingeniería Eléctrica Allen E. Puckett de Caltech, es pionero en IA en el campo de la visión artificial, una rama del aprendizaje automático en la que los ingenieros ayudan a las computadoras a aprender a «ver» o «saber dónde está cada cosa», como explica Perona, mediante la interpretación de imágenes y vídeos. Desde principios de la década de 2000, Perona y su grupo han avanzado en el estudio de la categorización visual. Desarrollan algoritmos que permiten a las máquinas aprender a reconocer coches, rostros, peces y otros objetos con mínima supervisión humana. Para ello, necesitan entrenar los algoritmos con datos. Las cuestiones éticas surgen en las primeras etapas de este proceso, explica Perona.
“Tenemos que recopilar conjuntos de datos muy grandes”, afirma. “Ese paso ya es delicado. ¿Eres el propietario de los datos? ¿Estás pidiendo permiso para usarlos? Si puedes descargarlos de internet, ¿es razonable usarlos? ¿Contienen los datos sesgos que puedan afectar el algoritmo?”
Por ejemplo, si entrenas a una computadora para reconocer aves, pero el conjunto de datos que le proporcionas solo incluye imágenes de aves tomadas en días soleados de verano, entonces has creado un sistema de IA que reconoce imágenes de aves a la luz del día y tenderá a tener un rendimiento deficiente por la noche. Las preguntas sobre el sesgo se vuelven aún más importantes cuando la IA se utiliza para tomar decisiones sobre la vida de las personas, como cuando un algoritmo filtra currículums para una oferta de trabajo, o cuando los jueces toman decisiones de libertad condicional basándose en un modelo de IA que predice si una persona condenada por un delito es probable que cometa otro delito. «Una pregunta central que nos hacemos es: ¿se ha desarrollado y entrenado el algoritmo para que trate a todos los humanos por igual y con respeto?», dice Perona. «¿O tomará decisiones basadas en estereotipos de un tipo u otro que pueden afectar la equidad en general? Sabemos que los humanos pueden ser bastante sesgados en sus juicios y decisiones. Si hacemos las cosas bien, nuestros algoritmos serán mejores que nosotros».
Perona y Colin Camerer, profesor Robert Kirby de Economía del Comportamiento de Caltech y presidente y director de liderazgo del Centro Tianqiao y Chrissy Chen para Neurociencia Social y de Decisiones, junto con ex miembros de sus respectivos grupos de investigación Manuel Knott y Carina Hausladen, han establecido un nuevo método para medir el sesgo algorítmico en los modelos de lenguaje de visión, que pueden analizar tanto imágenes como texto.
Perona afirma que él y sus colaboradores sentían curiosidad por saber si los modelos de lenguaje visual realizan juicios sociales a partir de imágenes de rostros y si dichos juicios están sesgados por la edad, el género y la raza de los rostros. «Parece una pregunta fácil de responder», afirma Perona. «Por ejemplo, se pueden mostrar al ordenador imágenes de jóvenes y de personas mayores para ver si el ordenador califica una como más amigable que la otra. Sin embargo, hay un inconveniente: el sesgo podría estar en los datos, no en el algoritmo».
Imagine un ejemplo donde los datos utilizados son imágenes de jóvenes recopiladas de solicitudes de ingreso a la facultad de medicina e imágenes de políticos mayores. Los políticos tienden a sonreír en las fotografías oficiales, mientras que los solicitantes de ingreso a la facultad de medicina eligen fotos en las que se ven más serios y profesionales. Perona afirma que estos datos estarían sesgados porque las expresiones faciales se correlacionan con la edad. La percepción del algoritmo de que las personas mayores son más amigables podría llevar a los investigadores a creer que está sesgado en contra de los jóvenes, aunque la percepción de amabilidad se basara en la expresión facial y no tuviera nada que ver con la edad. «Por lo tanto, para evaluar los sesgos en los algoritmos, es necesario desarrollar pruebas que no estén sesgadas en sí mismas», afirma Perona.
El equipo de Caltech diseñó un método experimental específicamente para evitar estos problemas. En lugar de probar algoritmos con imágenes de personas reales obtenidas de fuentes aleatorias, los investigadores utilizaron IA para generar un conjunto de datos de imágenes realistas de rostros humanos que variaban sistemáticamente según edad, género, raza, expresión facial, iluminación y pose. También crearon un conjunto de datos de textos que describían la percepción social basándose en hallazgos de investigaciones psicológicas (p. ej., «una foto de una persona amable» y «una foto de una persona deshonesta»).
Los investigadores introdujeron estas imágenes y textos en uno de los modelos de lenguaje visual de código abierto más populares, llamado CLIP, y analizaron a fondo cómo el modelo representaba el texto y las imágenes mediante números llamados incrustaciones. Luego, compararon la estrecha relación entre las diferentes incrustaciones de imágenes y texto, utilizando esta relación numérica como medida de cómo el modelo percibía socialmente estos diferentes rostros. El equipo también evaluó cuantitativamente si la variación de algún atributo facial afectaría la percepción social del algoritmo. Los investigadores descubrieron que el modelo CLIP, de hecho, contiene sesgos. Cabe destacar que las imágenes de mujeres negras casi siempre se encontraban en los extremos de diferentes métricas de percepción social. Por ejemplo, las mujeres negras con el ceño fruncido se percibían como las menos competentes en todas las identidades interseccionales, pero las mujeres negras sonrientes se percibían como las más competentes. Ahora, los ingenieros e investigadores de IA pueden utilizar los conjuntos de datos y la metodología del estudio de Caltech para probar exhaustivamente sus propios modelos de lenguaje visual en busca de sesgos algorítmicos, lo que proporciona un punto de referencia para evaluar y mejorar.
Perona cree que el desarrollo de una IA responsable debe ser una prioridad. «Los ingenieros pueden proporcionar cifras y estadísticas sobre nuestros modelos de IA, pero es responsabilidad de la sociedad, a través de la ley y los líderes electos, lograr un consenso sobre lo que es justo y ético en diferentes contextos», afirma Perona, quien también imparte un curso sobre las fronteras de la tecnología de IA generativa cada primavera con Georgia Gkioxari, profesora adjunta de informática, ciencias matemáticas e ingeniería eléctrica en Caltech, y becaria William H. Hurt. «Tenemos que encontrar maneras de regular la IA que no bloqueen sus múltiples usos positivos y, al mismo tiempo, minimicen los posibles riesgos. Contamos con procesos democráticos para elaborar regulaciones y políticas de IA. El desafío es que, hoy en día, pocos votantes y legisladores comprenden cómo funciona la IA. En Caltech, estamos formando futuros líderes; por eso, nuestro objetivo es enseñar IA a todos los estudiantes y, en todos nuestros cursos de IA, enseñamos los principios de una IA responsable».
Yisong Yue, profesor de informática y ciencias matemáticas en Caltech, quien codirige la iniciativa AI4Science del Instituto junto con Anima Anandkumar, profesora Bren de informática y ciencias matemáticas, coincide en que los informáticos deberían reflexionar sobre la ética de su trabajo en IA, pero añade que la mayor parte del tiempo trabajan en prototipos en fase inicial que deben perfeccionarse para convertirlos en soluciones listas para producción. «Normalmente diseñamos herramientas y luego colaboramos con la industria para implementarlas», afirma Yue, cuya investigación actual incluye iniciativas para mejorar la capacidad de toma de decisiones de los sistemas de navegación de IA en vehículos autónomos. «Para ser sinceros, trabajamos en problemas tan complejos que más del 90 % de las veces ni siquiera funcionan. Cuando vemos que algo empieza a funcionar, es cuando pensamos en las implicaciones más prácticas, que realmente requieren un diálogo conjunto. Entonces, si creemos que podría haber una solución tecnológica para que el sesgo sea un problema menor, eso es algo que podríamos estudiar en Caltech».
¿IA para combatir la IA?
Gran parte de la desinformación y la información errónea que se encuentra en línea es generada por programas de IA generativa, que pueden ser utilizados por actores maliciosos para difundir fotos y videos hiperrealistas falsos. Al combinarse con algoritmos impulsados por IA que rastrean nuestro historial en línea y ofrecen feeds personalizados de redes sociales y anuncios dirigidos, estas tecnologías crean el escenario perfecto para una posible manipulación masiva, afirma Michael Alvarez, profesor de Ciencias Políticas y Sociales Computacionales de la Fundación Flintridge de Caltech.
“Existe una gran cantidad de información disponible sobre nosotros, y los modelos de IA pueden emplearse para aprovechar esos datos y predecir e incluso persuadir nuestro comportamiento”, afirma. Esto podría materializarse, por ejemplo, en la interferencia facilitada por IA en las elecciones políticas, un tema en el que Álvarez es experto como director del Proyecto de Integridad Electoral de Caltech, que examina la administración electoral y la confianza de los votantes mediante métodos de investigación de las ciencias sociales.
La investigación de Alvarez da un giro radical al implementar la IA como herramienta para combatir la desinformación. En un proyecto para comprender los rumores y mitos relacionados con las elecciones presidenciales estadounidenses de 2024, los investigadores utilizaron IA generativa para ayudar a las personas a «desarrollar la capacidad mental», como explica Alvarez, para identificar falsedades en línea con una técnica llamada «prebunking». A los participantes del estudio se les mostró una muestra abreviada y menos antagónica de un rumor electoral con una etiqueta de advertencia que explicaba por qué el contenido era engañoso. «Es como vacunar a alguien contra un virus», afirma Alvarez. El equipo de investigación utilizó IA generativa para desarrollar sus etiquetas de advertencia de prebunking, que, según Alvarez, pueden permitir respuestas en tiempo real a los rumores en línea que evolucionan rápidamente, convirtiendo a la IA en una herramienta poderosa para prevenir la propagación de conspiraciones. Alvarez también es codirector del Centro Linde para la Ciencia, la Sociedad y la Política (LCSSP) de Caltech junto con el profesor de Filosofía Frederick Eberhardt. Una de las funciones del centro es conectar las iniciativas del Instituto para comprender y orientar la implementación responsable de la IA. El LCSSP también aporta experiencia científica para fundamentar políticas sobre problemas sociales urgentes, como las implicaciones de la biotecnología, el cambio climático y la sostenibilidad.
“Uno de nuestros objetivos es intentar comprender, lo mejor posible, cómo todas estas nuevas tecnologías de inteligencia artificial están impulsando esta amplia área de cambio social, político y económico”, afirma Álvarez. El LCSSP organiza foros que reúnen a investigadores, actores políticos y profesionales del sector para debatir temas relacionados con la IA. A principios de 2023, año de su fundación, el centro organizó una mesa redonda de expertos para debatir las implicaciones sociales de la IA generativa. El año pasado, organizó un taller para explorar las repercusiones políticas y económicas de la IA.
En ese último taller, la investigadora postdoctoral Beatrice Magistro, miembro del grupo de investigación de Alvarez, presentó un estudio del LCSSP en colaboración con investigadores de la Universidad de Columbia Británica, la Universidad de Nueva York y la Universidad de Cornell que examinó cómo los votantes estadounidenses y canadienses respondieron a los cambios económicos causados por la IA generativa y la deslocalización. El estudio encontró que, si bien la automatización y la globalización resultan en compensaciones económicas multivalentes, como precios más bajos para los consumidores y pérdida de empleos, los encuestados variaron en su apoyo según su afiliación política. Por ejemplo, los demócratas estadounidenses vieron la globalización y la IA más favorablemente que los republicanos estadounidenses, y ambos partidos reaccionaron más negativamente a la globalización que a la automatización. Los investigadores también encontraron que la IA aún no se ha politizado de la misma manera que la globalización y que los votantes se preocupan más por los cambios de precios que por los cambios de empleo. «Parece que los políticos pueden elegir cómo enmarcar la IA», dice Magistro.
“Estamos en un punto de inflexión”, añade Álvarez. “Si las actitudes se polarizan según líneas partidistas, será muy difícil para los legisladores abordar eficazmente la IA”. Eberhardt afirma que el LCSSP busca tender un puente entre los investigadores de Caltech y los legisladores “que garantice una integración más sólida de estas dos comunidades”.
Es este tipo de conexión, añade, lo que impulsará la investigación en IA en Caltech, que sirve y protege al público. «Nuestros investigadores trabajan en la vanguardia de la ciencia, y muchos de sus resultados tendrán un impacto enorme», afirma Eberhardt. «Si eres una institución que trabaja a la vanguardia, necesitas preguntarte sobre las consecuencias que se derivarán de tu investigación y participar en su desarrollo. Y si quieres una buena política y regulación científica, necesitas a los mejores científicos presentes. Eso es lo que estamos haciendo con el LCSSP».
La IA generativa y el aula
El lanzamiento de ChatGPT en 2022 impulsó al mundo de la educación superior, incluyendo a la comunidad de Caltech, a abordar sus implicaciones en el ámbito académico. Eberhardt se unió a muchos en la exploración de la mejor manera de abordar la situación y comenzó con una serie de preguntas importantes: ¿Cómo abordaremos los grandes modelos lingüísticos (LLM) y la educación? ¿Qué impacto tendrán en la investigación? ¿Cómo abordaremos la escritura y la programación que realizan los estudiantes para sus clases? ¿Cómo se verá afectada la propiedad intelectual?
“Algo positivo de esta llamada de atención es que realmente nos obliga a reflexionar explícitamente sobre los métodos que utilizamos y por qué los consideramos importantes”, afirma Tracy Dennison, profesora Edie y Lew Wasserman de Historia de las Ciencias Sociales y titular de la Cátedra de Liderazgo Ronald y Maxine Linde de la División de Humanidades y Ciencias Sociales. Dennison afirma que está aprovechando la aparición de los LLM como una oportunidad para recalcar el valor de la escritura y el pensamiento crítico entre los estudiantes, así como la ética en la ciencia y la tecnología.
“Soy rusólogo y a menudo planteo a mis estudiantes esta cuestión sobre el desarrollo de tecnologías de IA que permiten a los regímenes autocráticos rastrear y perseguir a los disidentes políticos”, dice Dennison. “Les señalo la importancia de reconocer el lado negativo de este avance y los animo a tener claras las implicaciones generales de lo que quieren abordar. Está bien argumentar que los aspectos positivos superan a los negativos. Pero, al igual que con la tecnología nuclear en el siglo XX, existen importantes debates en torno a estas cuestiones. Puede ser una conversación incómoda, pero es necesaria”.
Eberhardt imparte un curso específico de Ética e IA para estudiantes universitarios (Hum/PI 45) que abarca temas como la libertad de expresión y la desinformación, la equidad algorítmica, la ética de los datos, y la privacidad y la vigilancia. Los debates en clase profundizan en complejos dilemas del mundo real, como definir matemáticamente la equidad para implementar una IA ética, abordar las complejas políticas de moderación del discurso en línea y explorar los límites cada vez más difusos de la privacidad en la era digital.
Perona ha incorporado conferencias sobre IA responsable en sus cursos técnicos de aprendizaje automático y afirma que espera que los graduados de Caltech influyan en la trayectoria del desarrollo ético de la IA. «Intento que mis alumnos sean conscientes de la importancia de su trabajo y de sus repercusiones, les cuento anécdotas de cosas que pueden salir mal y los animo a involucrarse con la sociedad en torno a su investigación», afirma Perona. «Tenemos que crear una generación de científicos que, al salir de Caltech, comprendan profundamente los problemas y que apliquen ese conocimiento a sus carreras como líderes influyentes y tomadores de decisiones».
Los costos ocultos de la IA
El impacto social de la IA va más allá del flujo e intercambio de información. Un creciente número de investigaciones se centra en las consecuencias materiales de la IA, incluyendo las grandes cantidades de energía que consume, el carbono que libera a la atmósfera y el agua necesaria para el funcionamiento de sus enormes centros de datos.
Un artículo titulado «El Costo Impago: Cuantificación del Impacto de la IA en la Salud Pública», publicado en el servidor de preimpresiones de arXiv en diciembre de 2024 por científicos de Caltech y UC Riverside, examina el impacto en la salud pública asociado con el consiguiente aumento de la contaminación atmosférica causada por los centros de datos de IA. Se prevé que la contaminación atmosférica cause hasta 1300 muertes prematuras al año para 2030, solo en Estados Unidos, mientras que se prevé que los costos totales de salud pública derivados de estos centros de datos alcancen los 20 000 millones de dólares anuales durante el mismo período. Los autores recomiendan la adopción de normas y métodos que obliguen a las empresas tecnológicas a informar sobre la contaminación atmosférica causada por su consumo de energía y generadores de emergencia, y que compensen adecuadamente a las comunidades más afectadas por la contaminación atmosférica por la carga sanitaria causada por la producción de electricidad en los centros de procesamiento de datos.
“Cuando hablamos de los costos de la IA, se ha prestado mucha atención a la medición de aspectos como el consumo de carbono y agua. Y si bien estos costos son realmente importantes, no son lo que afectará a las comunidades locales donde se construyen los centros de datos”, afirma Adam Wierman, profesor Carl F. Braun de Ciencias de la Computación y Matemáticas y director de Ciencias de la Información y Tecnología en Caltech, autor correspondiente del artículo. “La salud es una forma de centrarse en el impacto que estos centros de datos tienen en sus comunidades locales y de comprender, cuantificar y gestionar dichos impactos, que son significativos”.
Wierman reconoce que la IA seguirá desempeñando un papel importante en nuestras vidas, ofreciendo claros beneficios que podrían mejorar los sistemas sociales. «Al mismo tiempo», afirma, «debemos asegurarnos de tener todo en orden y de que los impactos negativos de la IA se reconozcan, cuantifiquen, minimicen y compartan equitativamente».
Si bien los debates éticos, los marcos regulatorios y las cambiantes realidades sociales de la IA pueden ser complejos, Perona afirma que los estudiantes y científicos de Caltech están bien preparados para trabajar juntos en ellos, a la vez que continúan abordando las cuestiones científicas más complejas. «Hay cuestiones que no interesan a la industria de la IA porque no hay mercado», afirma. «Podemos trabajar en ellas aquí en Caltech. De hecho, este es probablemente el mejor lugar del mundo para hacerlo». Caltech News. J. E. N. Traducido al español
