Categoría: Robótica y Automatización

A veces, puede ser mejor entrenar a un robot en un entorno diferente de aquel en el que será desplegado. Un robot doméstico entrenado para realizar tareas domésticas en una fábrica puede no ser capaz de fregar eficazmente el fregadero o sacar la basura cuando se lo utiliza en la cocina de un usuario, ya que este nuevo entorno difiere de su espacio de entrenamiento. Para evitar esto, los ingenieros a menudo intentan hacer coincidir el entorno de entrenamiento simulado lo más fielmente posible con el mundo real donde se implementará el agente. Sin embargo, investigadores del MIT y de otros lugares han descubierto que, a pesar de esta creencia convencional, a veces el entrenamiento en un entorno completamente diferente produce un agente de inteligencia artificial con mejor rendimiento. Sus resultados indican que, en algunas situaciones, entrenar a un agente de IA simulado en un mundo con menos incertidumbre o “ruido” le permitió desempeñarse mejor que un agente de IA competidor entrenado en el mismo mundo ruidoso que usaron para probar ambos agentes. Los investigadores llaman a este fenómeno inesperado “efecto de entrenamiento en interiores”. “Si aprendemos a jugar al tenis en un ambiente interior donde no hay ruido, podremos dominar con mayor facilidad diferentes golpes. Luego, si nos trasladamos a un entorno más ruidoso, como una cancha de tenis con viento, tendremos más probabilidades de jugar bien al tenis que si comenzamos a aprender en un entorno con viento”, explica Serena Bono, asistente de investigación en el Media Lab del MIT y autora principal de un artículo sobre el efecto del entrenamiento en interiores. Los investigadores estudiaron este fenómeno entrenando a agentes de IA para que jugaran juegos de Atari, a los que modificaron añadiendo cierta imprevisibilidad. Se sorprendieron al descubrir que el efecto del entrenamiento en interiores se producía de forma constante en todos los juegos de Atari y en todas sus variantes. Esperan que estos resultados impulsen investigaciones adicionales para desarrollar mejores métodos de entrenamiento para agentes de IA. “Se trata de un eje totalmente nuevo en el que pensar. En lugar de intentar que los entornos de entrenamiento y prueba coincidan, es posible que podamos construir entornos simulados en los que un agente de IA aprenda aún mejor”, añade el coautor Spandan Madan, estudiante de posgrado de la Universidad de Harvard. A Bono y Madan se suman en el trabajo Ishaan Grover, estudiante de posgrado del MIT; Mao Yasueda, estudiante de posgrado de la Universidad de Yale; Cynthia Breazeal, profesora de artes y ciencias de los medios y líder del Grupo de Robótica Personal del Media Lab del MIT; Hanspeter Pfister, profesor de Ciencias de la Computación de la cátedra An Wang en Harvard; y Gabriel Kreiman, profesor de la Facultad de Medicina de Harvard. La investigación se presentará en la Conferencia de la Asociación para el Avance de la Inteligencia Artificial. Problemas de entrenamiento Los investigadores se propusieron explorar por qué los agentes de aprendizaje de refuerzo tienden a tener un desempeño tan pésimo cuando se los prueba en entornos diferentes de su espacio de entrenamiento. El aprendizaje de refuerzo es un método de prueba y error en el que el agente explora un espacio de entrenamiento y aprende a realizar acciones que maximizan su recompensa. El equipo desarrolló una técnica para agregar explícitamente una cierta cantidad de ruido a un elemento del problema de aprendizaje de refuerzo, llamada función de transición. La función de transición define la probabilidad de que un agente pase de un estado a otro, en función de la acción que elija. Si el agente está jugando a Pac-Man, una función de transición podría definir la probabilidad de que los fantasmas en el tablero de juego se muevan hacia arriba, hacia abajo, hacia la izquierda o hacia la derecha. En el aprendizaje por refuerzo estándar, la IA se entrenaría y se probaría utilizando la misma función de transición. Los investigadores agregaron ruido a la función de transición con este enfoque convencional y, como se esperaba, afectó el rendimiento del agente en Pac-Man. Pero cuando los investigadores entrenaron al agente con un juego de Pac-Man sin ruido y luego lo probaron en un entorno donde inyectaron ruido en la función de transición, funcionó mejor que un agente entrenado en el juego ruidoso. “La regla general es que se debe intentar capturar la función de transición de la condición de despliegue lo mejor posible durante el entrenamiento para obtener el máximo provecho de la inversión. Pusimos a prueba esta idea hasta el cansancio porque ni nosotros mismos podíamos creerla”, afirma Madan. La inyección de distintas cantidades de ruido en la función de transición permitió a los investigadores probar muchos entornos, pero no crearon juegos realistas. Cuanto más ruido inyectaban en Pac-Man, más probable era que los fantasmas se teletransportaran aleatoriamente a diferentes casillas. Para ver si el efecto del entrenamiento en interiores se producía en los juegos normales de Pac-Man, ajustaron las probabilidades subyacentes para que los fantasmas se movieran normalmente, pero tuvieran más probabilidades de moverse hacia arriba y hacia abajo, en lugar de hacia la izquierda y la derecha. Los agentes de IA entrenados en entornos sin ruidos se desempeñaron mejor en estos juegos realistas. “No se debió únicamente a la forma en que añadimos ruido para crear entornos ad hoc. Esto parece ser una propiedad del problema del aprendizaje por refuerzo. Y fue aún más sorprendente verlo”, afirma Bono. Explicaciones de exploración Cuando los investigadores profundizaron en la búsqueda de una explicación, vieron algunas correlaciones en cómo los agentes de IA exploran el espacio de entrenamiento. Cuando ambos agentes de IA exploran básicamente las mismas áreas, el agente entrenado en el entorno sin ruido tiene un mejor desempeño, tal vez porque le resulta más fácil aprender las reglas del juego sin la interferencia del ruido. Si sus patrones de exploración son diferentes, el agente entrenado en el entorno ruidoso tiende a tener un mejor desempeño. Esto puede ocurrir porque el agente necesita comprender patrones que no puede aprender en

El profesor asociado Luca Carlone está trabajando para dar a los robots una conciencia más parecida a la humana de su entorno. Los robots han avanzado mucho desde el Roomba. Hoy en día, los drones están empezando a hacer entregas puerta a puerta, los coches autónomos recorren algunas carreteras, los perros robot ayudan a los servicios de emergencia y cada vez hay más robots que hacen volteretas y ayudan en las fábricas. Aun así, Luca Carlone cree que lo mejor está por venir. Carlone, que recientemente recibió la titularidad como profesor asociado en el Departamento de Aeronáutica y Astronáutica (AeroAstro) del MIT, dirige el Laboratorio SPARK, donde él y sus estudiantes están cerrando una brecha clave entre los humanos y los robots: la percepción. El grupo realiza investigaciones teóricas y experimentales, todas ellas con el objetivo de ampliar la conciencia de un robot sobre su entorno de maneras que se acerquen a la percepción humana. Y la percepción, como suele decir Carlone, es más que la detección. Si bien los robots han crecido a pasos agigantados en términos de su capacidad para detectar e identificar objetos en su entorno, aún tienen mucho que aprender en lo que respecta a interpretar su entorno de manera más amplia. Como humanos, percibimos los objetos con un sentido intuitivo no solo de sus formas y etiquetas, sino también de su física (cómo se pueden manipular y mover) y cómo se relacionan entre sí, con su entorno más amplio y con nosotros mismos. Ese tipo de percepción a nivel humano es lo que Carlone y su grupo esperan impartir a los robots, de manera que les permita interactuar de forma segura y fluida con las personas en sus hogares, lugares de trabajo y otros entornos no estructurados. Desde que se incorporó a la facultad del MIT en 2017, Carlone ha liderado a su equipo en el desarrollo y la aplicación de algoritmos de percepción y comprensión de escenas para diversas aplicaciones, incluidos vehículos autónomos de búsqueda y rescate subterráneos, drones que pueden recoger y manipular objetos sobre la marcha y automóviles que se conducen solos. También podrían ser útiles para robots domésticos que siguen órdenes en lenguaje natural e incluso podrían anticipar las necesidades humanas basándose en pistas contextuales de nivel superior. “La percepción es un gran obstáculo para que los robots nos ayuden en el mundo real”, afirma Carlone. “Si podemos añadir elementos de cognición y razonamiento a la percepción de los robots, creo que pueden resultar muy útiles”. Ampliando horizontes Carlone nació y creció cerca de Salerno, Italia, cerca de la pintoresca costa de Amalfi, donde era el menor de tres hermanos. Su madre es una maestra de escuela primaria jubilada que enseñaba matemáticas, y su padre es un profesor de historia y editor jubilado, que siempre ha adoptado un enfoque analítico en su investigación histórica. Es posible que los hermanos hayan adoptado inconscientemente la mentalidad de sus padres, ya que los tres se hicieron ingenieros: los dos mayores se dedicaron a la electrónica y la ingeniería mecánica, mientras que Carlone se decantó por la robótica, o mecatrónica, como se la conocía en ese momento. Sin embargo, no se dedicó a este campo hasta finales de sus estudios universitarios. Carlone asistió a la Universidad Politécnica de Turín, donde se centró inicialmente en el trabajo teórico, específicamente en la teoría del control, un campo que aplica las matemáticas para desarrollar algoritmos que controlan automáticamente el comportamiento de los sistemas físicos, como las redes eléctricas, los aviones, los automóviles y los robots. Luego, en su último año, Carlone se inscribió en un curso sobre robótica que exploraba los avances en la manipulación y cómo se pueden programar los robots para moverse y funcionar. “Fue amor a primera vista. Utilizar algoritmos y matemáticas para desarrollar el cerebro de un robot y lograr que se mueva e interactúe con el entorno es una de las experiencias más satisfactorias”, afirma Carlone. “Decidí inmediatamente que esto es lo que quiero hacer en la vida”. Carlone realizó un programa de doble titulación en la Universidad Politécnica de Turín y la Universidad Politécnica de Milán, donde obtuvo un máster en mecatrónica e ingeniería de automatización, respectivamente. Como parte de este programa, llamado Alta Scuola Politecnica, Carlone también realizó cursos de gestión, en los que él y estudiantes de diversos orígenes académicos tuvieron que trabajar en equipo para conceptualizar, construir y elaborar un discurso de marketing para el diseño de un nuevo producto. El equipo de Carlone desarrolló una lámpara de mesa sin contacto diseñada para seguir los comandos accionados con la mano del usuario. El proyecto lo impulsó a pensar en la ingeniería desde diferentes perspectivas. “Fue como tener que hablar distintos idiomas”, afirma. “Fue una exposición temprana a la necesidad de mirar más allá de la burbuja de la ingeniería y pensar en cómo crear trabajo técnico que pueda tener un impacto en el mundo real”. La próxima generación Carlone se quedó en Turín para realizar su doctorado en mecatrónica. Durante ese tiempo, tuvo libertad para elegir el tema de su tesis, algo que abordó, como él mismo recuerda, “de manera un tanto ingenua”. “Estaba explorando un tema que la comunidad consideraba bien comprendido y sobre el cual muchos investigadores creían que no había nada más que decir”, afirma Carlone. “Subestimé lo establecido que estaba el tema y pensé que aún podía aportar algo nuevo, y tuve la suerte de poder hacerlo”. El tema en cuestión era la “localización y mapeo simultáneos” o SLAM, el problema de generar y actualizar un mapa del entorno de un robot mientras se hace un seguimiento simultáneo de dónde se encuentra el robot dentro de ese entorno. Carlone ideó una forma de replantear el problema, de modo que los algoritmos pudieran generar mapas más precisos sin tener que empezar con una suposición inicial, como hacían la mayoría de los métodos SLAM en ese momento. Su trabajo ayudó a abrir un campo en el que la mayoría de los expertos en robótica pensaban que