A medida que las tecnologías de IA evolucionan rápidamente, el profesor de Stanford Mykel Kochenderfer lidera los esfuerzos para validar la seguridad de los sistemas autónomos, desde automóviles hasta drones.
Mientras explica la compleja labor de crear algoritmos avanzados para sistemas de seguridad en entornos de alto riesgo e incertidumbre, como conducir un coche o pilotar un avión, el profesor Mykel Kochenderfer se toma un momento para fundamentar la conversación. Toma una maqueta del Wright Flyer, un biplano construido por los hermanos Wright en 1903.
“El tiempo transcurrido entre esto”, dice Kochenderfer, y luego lo deja para mostrar una maqueta de uno de los primeros aviones comerciales, “y esto son solo unas pocas décadas”.
Y con cada década, la tecnología de la aviación y los sistemas de seguridad han seguido mejorando progresivamente. Estas mejoras fueron graduales e implicaron tanto la asunción de riesgos como pruebas iterativas, afirmó, de modo que «actualmente, uno de los lugares más seguros es estar a unos 9.000 metros de altura en un tubo metálico. Para mí, eso es realmente extraordinario».
Profesor asociado de aeronáutica y astronáutica en Stanford, Kochenderfer dirige el Laboratorio de Sistemas Inteligentes de Stanford (SISL), donde investiga algoritmos avanzados y métodos analíticos para sistemas de toma de decisiones. También es investigador principal del Instituto de Stanford para IA Centrada en el Ser Humano (HAI).
Su equipo en SISL se centra en sistemas de alto riesgo donde la seguridad y la eficiencia son cruciales, como el control del tráfico aéreo, los aviones no tripulados y los vehículos autónomos. Viajar en avión es seguro, pero Kochenderfer ha dedicado su carrera a trabajar para hacerlo aún más seguro.
Antes de llegar a Stanford, Kochenderfer trabajó en modelado del espacio aéreo y prevención de colisiones de aeronaves en el Laboratorio Lincoln del MIT. Sus primeros trabajos condujeron a la creación del Sistema de Prevención de Colisiones Aerotransportadas X (ACAS X) , un sistema de seguridad a bordo diseñado para prevenir colisiones en el aire que utiliza algoritmos avanzados para detectar aeronaves cercanas y proporcionar recomendaciones de maniobra a los pilotos.
¿Cómo se define la seguridad de la IA?
La seguridad depende de la aplicación. Por ejemplo, en aviación, la seguridad se define físicamente; buscamos evitar que un metal golpee con otro metal. En robótica y conducción autónoma, buscamos evitar que un objeto golpee con otro.
Otros sistemas de IA requieren definir la seguridad en un sentido no físico. Por ejemplo, podríamos querer que nuestro agente de chat de IA respondiera a preguntas como por qué se produce una chispa al golpear un pedernal con un cuchillo, pero no que diera una descripción detallada de cómo fabricar una bomba. O podríamos querer que nuestro modelo de lenguaje no emitiera comentarios racistas. Sin embargo, estas son consideraciones de seguridad muy diferentes a las que consideramos en el sector aeroespacial.
Imparto un seminario introductorio sobre posibles consecuencias sociales imprevistas, como la posibilidad de que algunos de estos sistemas provoquen la pérdida de empleos o afecten negativamente la forma en que las personas se relacionan entre sí. Desde un punto de vista técnico, las consecuencias posteriores pueden ser muy difíciles de predecir.
¿Qué tendencias están surgiendo de su investigación sobre seguridad de IA?
La comunidad de IA se centra principalmente en el desarrollo de sistemas de IA, pero se ha prestado relativamente poca atención a cómo evaluarlos rigurosamente antes de su implementación. Evaluar estos sistemas cobra gran importancia debido a las enormes inversiones que realiza la industria y a que queremos implementarlos para obtener beneficios económicos y sociales.
Sin embargo, se han cometido algunos errores importantes que pueden provocar daños reales a la sociedad, no solo a la reputación de las empresas que implementan estos sistemas. Lo que nos interesa hacer en nuestro laboratorio (y, en general, como parte del Stanford Center for AI Safety ) es desarrollar herramientas cuantitativas para ayudar en la validación del sistema. Esto ha sido realmente emocionante. El año pasado, ofrecimos un curso sobre la validación de sistemas críticos para la seguridad. Entonces, si tienes un sistema de IA y tienes que garantizar un cierto nivel de rendimiento y confiabilidad, ¿cómo lo haces? Es el primer curso de este tipo en Stanford, y acabamos de publicar una preimpresión de nuestro nuevo libro de texto llamado Algorithms for Validation .
¿Dónde están las lagunas en la construcción de una IA segura y responsable?
Una brecha importante es cómo realizamos esta validación eficientemente. Ya sea construyendo un sistema anticolisión o un modelo de lenguaje confiable, realizamos simulaciones de fuerza bruta, a menudo ejecutando toneladas y toneladas de simulaciones antes de encontrar siquiera un fallo. Es necesario tener una colección estadísticamente significativa de fallos para identificar correctamente los modos de fallo, caracterizarlos y estimar una probabilidad de fallo. Pero ejecutar tantas simulaciones puede ser muy costoso, por lo que estamos trabajando para que sea lo más eficiente posible. Resulta que se puede usar IA para ayudar a guiar ese proceso. Así, podemos usar modelos de IA como modelos de difusión, Markov Chain Monte Carlo u otros. Existe una gran variedad de modelos de IA que podemos reutilizar para realizar una validación más eficiente.
Pero ¿cómo sabe que ha hecho lo suficiente para que su modelo tenga la fidelidad suficiente? Solo puede contribuir a construir un caso de seguridad porque las simulaciones que puede ejecutar son ilimitadas y no hay garantía absoluta de que su modelo no haya pasado por alto ningún detalle. Debe utilizar el mejor modelo posible para esa evaluación; si su modelo es demasiado burdo o poco realista, sus conclusiones también lo serán. Podría subestimar o sobreestimar considerablemente la seguridad de su sistema.
La comunidad de IA se centra principalmente en la creación de sistemas de IA, pero se ha prestado relativamente poca atención a cómo evaluar rigurosamente esos sistemas antes de su implementación”.
La industria automotriz invirtió mucho en desarrollar simulaciones de alta fidelidad para la conducción autónoma, por ejemplo. Se busca que las simulaciones sean lo más realistas posible y garantizar que la distribución en los escenarios que se ejecutan represente el mundo real con la mayor fidelidad posible. Tras rigurosos estudios de simulación, se comienza con una implementación limitada, como lo hizo Waymo (el servicio de vehículos autónomos). Se centraron en lugares como San Francisco y luego recorrieron muchos kilómetros hasta allí, adquiriendo experiencia y aprendiendo de ella. La información obtenida de esta implementación limitada sirve entonces para fundamentar posibles cambios en los modelos que utilizan en la simulación y, gradualmente, con el tiempo, amplían sus implementaciones a otras áreas.
En ingeniería, queremos ir paso a paso. Nadie querría que el primer puente que se construyera fuera el Golden Gate. Se busca empezar con algo mucho más básico y, a partir de ahí, ir construyendo algo más sofisticado. Y eso es exactamente lo que ocurrió con la aviación. Empezamos con algo así, el Wright Flyer , en 1903 en Kitty Hawk, y en cuestión de décadas, tuvimos aviones comerciales. Parte de eso implicó un progreso gradual y cierta asunción de riesgos, pero ahora mismo, uno de los lugares más seguros es estar a unos 9.000 metros de altura en un tubo metálico. Para mí, eso es realmente extraordinario.
¿Qué es lo que más le interesa o le preocupa acerca de la seguridad de la IA en este momento?
Ha habido un enorme y fundado entusiasmo por los sistemas de IA y su implementación. La preocupación que me inspiró este último libro sobre validación es que nos volveremos prematuramente dependientes de estos sistemas antes de que se comprendan adecuadamente.
Quiero proporcionar a los académicos y a la industria las herramientas necesarias para validar adecuadamente sus sistemas. No solo para que superen el proceso de certificación exigido por el gobierno, sino para garantizar que estos sistemas sean seguros. Esto también beneficia a la industria. Un accidente grave puede ser catastrófico para una empresa, como hemos visto en el ámbito de la conducción autónoma.
¿Qué proyectos actuales te entusiasman?
En cuanto a la investigación, me entusiasma mucho validar estos modelos de lenguaje. Estos modelos codifican enormes cantidades de conocimiento de sentido común, y eso es lo que se necesita para construir sistemas de IA verdaderamente útiles, ya sean robots domésticos o sistemas de asistencia a pilotos en aeronaves. Existe un potencial enorme. Pero debemos asegurarnos de que estos sistemas no generen alucinaciones ni proporcionen información perjudicial. Ese es un objetivo principal de nuestra investigación.
También estoy muy entusiasmado desde el punto de vista educativo, comunicando estos conocimientos a la próxima generación de estudiantes, a la industria y también, a través de HAI, a aquellos en el gobierno para crear políticas que tengan sentido. Stanford Report. S. H. Traducido al español
Contacto