Investigadores de la EPFL desarrollaron una nueva herramienta innovadora para ayudar a construir una IA más segura. Hoy en día, casi todo el mundo ha oído hablar de la IA y millones de personas en todo el mundo ya la utilizan o están expuestas a ella: desde ChatGPT para escribir nuestros correos electrónicos hasta para ayudarnos en el diagnóstico médico. En esencia, la IA utiliza algoritmos (conjuntos de instrucciones matemáticamente rigurosas) que indican a una computadora cómo realizar diversas funciones avanzadas o transformar datos en información útil. Los Grandes Modelos de Lenguaje (LLM), que impulsan la IA cada vez más potente de la actualidad, son tipos especiales de algoritmos que aprenden de conjuntos de datos masivos, mayormente centralizados. Sin embargo, la centralización de estos enormes conjuntos de datos genera problemas en torno a la seguridad, la privacidad y la propiedad de los datos; de hecho, la frase “los datos son el nuevo petróleo” significa que se han convertido en un recurso crucial que impulsa la innovación y el crecimiento en la economía digital actual. Para contrarrestar estas preocupaciones, un enfoque denominado aprendizaje federado está revolucionando la IA. A diferencia del entrenamiento de modelos de IA con grandes conjuntos de datos centralizados, el aprendizaje federado permite que estos modelos aprendan en una red de dispositivos (o servidores) descentralizados, manteniendo los datos sin procesar en su origen. Datos desconfiados La IA actual, entrenada con aprendizaje federado, recopila datos de todo el mundo: internet, otras grandes bases de datos, hospitales, dispositivos inteligentes, etc. Estos sistemas son muy eficaces, pero al mismo tiempo presentan una paradoja: lo que los hace tan eficaces también los hace muy vulnerables al aprendizaje a partir de datos erróneos, explica el profesor Rachid Guerraoui , director del Laboratorio de Computación Distribuida (DCL) de la Facultad de Ciencias de la Computación y la Comunicación . Los datos pueden ser erróneos por muchas razones. Quizás la falta de atención o un error humano provoquen que se introduzcan incorrectamente en una base de datos, quizás existan errores en los datos desde el principio, quizás los sensores u otros instrumentos estén dañados o funcionen mal, se registren datos incorrectos o peligrosos de forma maliciosa, etc. A veces, los datos son válidos, pero la máquina que los aloja ha sido pirateada o es fraudulenta. En cualquier caso, si estos datos se utilizan para entrenar a la IA, los sistemas pierden fiabilidad y son inseguros. “Todo esto plantea una pregunta clave”, afirma Guerraoui: “¿Podemos construir sistemas de IA fiables sin depender de ninguna fuente de datos individual?”. Tras una década de trabajo teórico dedicado a abordar este desafío, el profesor y su equipo afirman que la respuesta es sí. Un libro reciente resume sus principales hallazgos. Confiar en los conjuntos de datos En colaboración con el Instituto Nacional Francés de Investigación en Ciencia y Tecnología Digital , ahora están poniendo en práctica sus ideas. Han desarrollado ByzFL , una biblioteca que utiliza el lenguaje de programación Python y está diseñada para evaluar y mejorar los modelos de aprendizaje federado contra amenazas adversarias, en particular datos erróneos. Creemos que la mayoría de los datos son fiables, pero ¿cómo sabemos en qué conjuntos de datos no podemos confiar? —pregunta Guerraoui—. Nuestra biblioteca ByzFL comprueba la robustez de un sistema frente a ataques desconocidos a priori y, posteriormente, lo refuerza. Más concretamente, ofrecemos a los usuarios software para emular datos erróneos para realizar pruebas, además de incluir filtros de seguridad para garantizar su robustez. Los datos erróneos suelen distribuirse de forma sutil, por lo que no son visibles de inmediato. ByzFL no aísla ni distingue los datos válidos de los incorrectos, sino que utiliza esquemas de agregación robustos (p. ej., la mediana) para ignorar las entradas extremas. Por ejemplo, si tres sensores registran una temperatura de 6, 7 y 9 grados, pero otro registra -20, se arruina todo el cálculo. El software ByzFL excluye los extremos para limitar el impacto de los datos incorrectos, mientras que la información se agrega. Garantizar que la IA de próxima generación funcione Se espera que la inteligencia artificial influya en todos los aspectos de nuestras vidas en un futuro no muy lejano. Guerraoui argumenta que, hoy en día, la mayoría de las empresas utilizan formas muy rudimentarias de IA, por ejemplo, plataformas de streaming que recomiendan películas o asistentes de IA que ayudan a escribir textos. Si a alguien no le gusta la película que le recomiendan o si un correo electrónico no es perfecto, no hay problema. De cara al futuro, para cualquier aplicación crítica, como el diagnóstico de cáncer, la conducción de un coche o el control de un avión, la IA segura es esencial. «El día que implementemos la IA generativa en hospitales, coches o infraestructuras de transporte, creo que veremos que la seguridad es problemática debido a la información errónea», afirma Guerraoui. «El mayor reto ahora mismo es pasar de lo que yo llamo un circo de animales al mundo real con algo en lo que podamos confiar. En aplicaciones críticas, estamos lejos de poder dejar de preocuparnos por la seguridad. El objetivo de ByzFL es ayudar a cerrar esta brecha». Un papel para Suiza El profesor teme que puedan necesitarse algunos grandes accidentes para que el público y los responsables políticos comprendan que la IA creada hasta la fecha no debería usarse para medicina, transporte o cualquier cosa de misión crítica y que el desarrollo de una nueva generación de IA segura y robusta es esencial. Creo que Suiza puede desempeñar un papel importante en este aspecto porque tenemos una tradición de seriedad. Construimos cosas que funcionan; podemos usar la garantía de calidad suiza para demostrar un sistema de certificación que utiliza este tipo de software y demostrar que la IA es realmente segura sin confiar en ningún componente individual», concluyó.ByzFL fue diseñado y desarrollado por John Stephan , Geovani Rizk , Marc González Vidal , Rafael Pinot , Rachid Guerraoui (todos de EPFL) y Francois Taiani (de INRIA).Mehdi El Mhamdi, Julian Steiner, Peva Blanchard, Nirupam Gupta, Rafael Pinot, Youssef Allouah, Abdellah El Mrini, John Stephan, Sadegh Farhadkhani, Geovani Rizk, Arsany Guiguis, Georgios Damaskinos, Sebastien Rouault, Richeek Patra, Mahsa Taziki, Hoang Le