La confianza en los modelos de IA es algo más que un rendimiento técnico – los principios éticos y los valores humanos son igualmente importantes.
La confianza es, en esencia, un fenómeno profundamente humano. Cuando subimos a un autobús, es el conductor en el que confiamos para llevarnos de manera segura a nuestro destino – pero ¿qué pasa con el autobús? ¿Podemos depositar la misma confianza en él que en las personas? ¿O es todo lo que pedimos a la tecnología que funcione de manera confiable? ¿Y qué pasa cuando la inteligencia artificial toma el volante?
“Absolutamente. La confianza se puede depositar en la IA tal como lo es en los humanos, dice Petar Tsankov, CEO y cofundador de LatticeFlow AI, un spin-off de ETH que ayuda a las empresas a desarrollar una IA confiable, confiable y funcional para aplicaciones del mundo real. Según Tsankov, la IA se vuelve confiable tan pronto como sus modelos ofrecen respuestas consistentes y sin errores en diferentes entornos y toman decisiones confiables: “Cuando los usuarios ven que un sistema de IA se comporta de manera predecible y confiable, comienzan a confiar en – tal como lo harían con una persona confiable El primer y más crítico paso hacia la creación de confianza, explica, es garantizar que una IA funcione de manera confiable incluso cuando se enfrenta a datos desconocidos. Lo que es esencial, enfatiza, es que la IA no solo funciona en entornos de laboratorio controlados, sino que también ofrece resultados consistentes cuando se aplica a datos del mundo real. “Con demasiada frecuencia,vemos que los modelos de IA no cumplen con las expectativas cuando se exponen a condiciones de la vida real, y eso socava la confianza,” dice Tsankov.
Margarita Boenig-Liptsin segundos Tsankovods ver que la gente puede poner la confianza en una tecnología. Como profesora de ETH para Ética, Tecnología y Sociedad, estudia cómo los valores sociales coevolucionan con las transformaciones en las tecnologías digitales, incluida la IA. Para ella, la idea clave es que la confianza es relacional – y que la confianza construida dentro de estas relaciones se dirige no solo hacia otras personas sino también hacia instituciones o equipos técnicos. En esencia, explica, la confianza se reduce a una simple pregunta: ¿Puedo confiar en ti? En las sociedades avanzadas de techno ⁇ logic ⁇ al, “you” generalmente se refiere a agentes humanos y tecnológicos que trabajan juntos.
Su comprensión de la confianza abarca redes enteras de relaciones. “La confiabilidad no es solo una propiedad de la tecnología en sí, sino del entorno social y técnico más amplio en el que está incrustado,” dice Boenig-Liptsin. Este entorno incluye diseñadores, usuarios e instituciones: “Para evaluar la confiabilidad de un sistema de IA, debemos examinarlo desde las perspectivas de diferentes partes interesadas Su enfoque se centra no solo en el desarrollo y la aplicación, sino también en cómo la IA afecta el conocimiento y la responsabilidad. “Este socio-técnico ‘sistemas view’ proporciona impulsos clave para los investigadores de IA que buscan diseñar modelos confiables,”, dice ella. “Cuando los investigadores promueven la transparencia o involucran a las partes interesadas en discusiones sobre las características de un modelolimitaciones y potencial – todo eso les da información valiosa sobre cómo se ven afectadas las relaciones de confianza en el sistema y dónde pueden hacer cambios.”
Para Alexander Ilic, Director Ejecutivo del ETH AI Center, la confiabilidad entra en la ecuación cada vez que la tecnología y la sociedad se encuentran. Él cree que las profundas transformaciones impulsadas por la IA están lejos de ser completas: “La siguiente fase consiste en desbloquear el potencial de los datos privados en diferentes industrias y desarrollar compañeros de IA altamente personalizados que mejoren la forma en que abordamos tareas complejas. Al mismo tiempo, debemos reflexionar sobre las implicaciones de estas nuevas capacidades para los usuarios y considerar cómo fomentar la confianza en la IA, asegurando que las preocupaciones sobre sus riesgos no eclipsen sus beneficios Identificar los riesgos es una parte clave del trabajo de AI Center. Por lo tanto, fomenta una discusión franca entre los investigadores y también con varias partes interesadas.
“Para desbloquear el potencial transformador de AIi para la sociedad, debemos asegurarnos de que la innovación no se limite a unos pocos seleccionados. Es por eso que promovemos activamente la investigación interdisciplinaria y la colaboración con la industria y las nuevas empresas.”Ilic Alexander
La apertura es clave
Para Andreas Krause, Profesor de Ciencias de la Computación y Presidente del Centro ETH AI, la apertura es crucial para inspirar confianza. “Como investigadores, podemos hacer que las personas confíen en la IA,”, explica. “Pero podemos crear transparencia al revelar los datos que usamos y explicar cómo se desarrollan nuestros modelos de IA.” Krause está investigando nuevos enfoques que explican las incertidumbres en los modelos de IA, asegurando que los sistemas de IA sean mejores para reconocer lo que no saben. Estas estimaciones de incertidumbre son esenciales para evaluar la confianza en las declaraciones, detectar “alucinaciones” y guiar la recopilación de datos.
Ilic explica que el ETH AI Center opera sobre la base de principios abiertos y transparentes que las partes independientes pueden verificar y evaluar. Al mismo tiempo, la Swiss AI Initiative y el Swiss National AI Institute sirven como laboratorios del mundo real para el desarrollo abierto de la IA. Aquí, más de 650 investigadores de ETH Zurich, EPF Lausanne y otras diez instituciones académicas suizas están desarrollando un modelo de idioma grande suizo y modelos fundacionales de próxima generación, creando así la base para la IA generativa basada en valores suizos. En este contexto, la apertura significa hacer códigos fuente, herramientas, datos de entrenamiento y ponderaciones de modelos – que influyen en una IA sistematiza las decisiones – de libre acceso. Esto también permite a las PYME y las nuevas empresas construir sus propias innovaciones sobre esta base. Además,los modelos comunes de código abierto ahorran costos significativos y reducen la huella de carbono.
Tustworthy AI se basa en una serie de principios clave, que incluyen confiabilidad, seguridad, robustez, consistencia y transparencia. Para Ilic, estos son requisitos fundamentales: “Solo cuando entendemos lo que sucede dentro de la IA, las organizaciones pueden comenzar a adoptar la IA para transformar sus procesos centrales y trabajar con datos confidenciales Los sistemas de caja negra entrenados en datos con sesgos ocultos o valores políticos alienígenas, por ejemplo, pueden ser profundamente inquietantes. “La confianza en la IA crece cuando podemos estar seguros de que se basa en los mismos principios y valores éticos que tenemos,” explica.
Valores humanos
Tsankov destaca otro aspecto crítico: “La gente espera que la IA respete las normas éticas, evite la discriminación y produzca contenido que sea consistente con los valores humanos. La confianza en la IA es algo más que un rendimiento técnico – también debe estar de acuerdo con los principios en los que se basa nuestra sociedad.”
Una forma de definir estos principios es establecer reglas de gobierno, estándares y leyes. Pero Tsankov advierte que estos son solo una parte de la imagen. “Trust no se basa solo en principios abstractos,”, explica. “También requiere una validación técnica rigurosa para garantizar que un sistema de IA funcione de manera robusta, confiable, justa, segura, explicable y legalmente compatible. Convertir principios como estos en algo técnicamente medible plantea un gran desafío para el desarrollo de AI.” confiable
En campos sensibles, entran en juego dos principios adicionales: interpretabilidad y explicabilidad. Esto significa que los usuarios de los sistemas de IA entienden cómo la computadora llega a sus decisiones y luego pueden explicar claramente esas decisiones a otros.
Una cuestión de perspectiva
Estos dos últimos principios son particularmente críticos en medicina, sobre todo cuando la IA se utiliza para ayudar a diagnosticar y tratar afecciones pediátricas. En este contexto, dice Boenig-Liptsin, el juicio de los ciudadanos sobre la confiabilidad de un AIar depende de su perspectiva personal. El investigador de IA, el médico, el niño y los padres tienen experiencias, conocimientos y responsabilidades muy diferentes, y no experimentan los resultados de la misma manera.
“En medicina, los modelos de IA deben ser transparentes, interpretables y explicables para ganarse la confianza,” dice la profesora de informática Julia Vogt. Dirige el Medical Data Science Group en ETH y desarrolla modelos de IA que ayudan a los médicos a diagnosticar y tratar enfermedades. La investigación de Vogtt muestra que la confianza depende no solo del rendimiento de un sistema de IA, sino también de si sus decisiones y recomendaciones son comprensibles tanto para los médicos como para los pacientes. Para garantizar esto, los modelos se someten a una validación rigurosa, con un estricto cumplimiento de los estándares de protección de datos.
“Weizve descubrió que incorporar los comentarios de los usuarios durante el proceso de desarrollo aumenta significativamente la confianza en la IA y un diseño fácil de usar es especialmente importante en los hospitales, donde el tiempo de doctors’ es limitado.”Julia Vogt
Un ejemplo del trabajo de su grupo es un modelo de aprendizaje automático interpretable diseñado para ayudar a los médicos a diagnosticar y tratar la apendicitis en niños. Usando imágenes de ultrasonido, el asistente de IA evalúa la gravedad de la afección y sugiere opciones de tratamiento. Estos modelos son altamente interpretables porque el sistema de IA puede escanear imágenes de ultrasonido en busca de signos de los mismos síntomas que los médicos ya usan en la práctica clínica. En el contexto de la apendicitis, por ejemplo, estas podrían ser reacciones tisulares circundantes o estreñimiento severo. Esto permite a los médicos verificar si la IA ha basado sus recomendaciones en síntomas clínicamente relevantes. También les permite explicar el diagnóstico de IA tanto a los padres como a los niños de una manera claramente comprensible.
En otro proyecto, el grupo Vogttss desarrolló un modelo de IA interpretable y explicable para estimar la gravedad de la hipertensión pulmonar en recién nacidos –, una afección cardíaca grave en la que el tratamiento efectivo se basa en un diagnóstico temprano y preciso. El equipo empleó un enfoque de aprendizaje profundo utilizando redes neuronales para analizar imágenes de ultrasonido del corazón.
Basándose en las imágenes de ultrasonido, esta IA genera mapas especializados de síntomas que resaltan las áreas del corazón que ha utilizado para hacer su diagnóstico. Estos mapas permiten a los médicos evaluar rápidamente si la IA realmente se está enfocando en estructuras cardiológicas clínicamente significativas. Como resultado, pueden interpretar sus recomendaciones con confianza y explicar claramente su diagnóstico. Esto es particularmente notable porque los modelos de aprendizaje profundo a menudo funcionan como un “box” negro, lo que hace que sus procesos de toma de decisiones sean opacos.
Asegurar que las decisiones de IA sean verificables y comprensibles es una buena manera de fomentar la confianza. Por supuesto, algunos aspectos de un proceso de toma de decisiones de IAA seguirán siendo inexplicables para los humanos. Pero Krause insiste en que esta incertidumbre no necesariamente socava la confianza: “es tan difícil explicar completamente un modelo de IA como comprender completamente las decisiones humanas desde una perspectiva neurobiológica. Sin embargo, las personas son eminentemente capaces de confiar el uno en el otro!” ETH Zürich News. F. M. Traducido al español
Contacto