Un guante inteligente adaptable creado por investigadores del MIT CSAIL puede enviar comentarios táctiles para enseñar a los usuarios nuevas habilidades, guiar a los robots con una manipulación más precisa y ayudar a capacitar a cirujanos y pilotos.
Probablemente hayas conocido a alguien que se identifica como un aprendiz visual o auditivo, pero otros absorben el conocimiento a través de una modalidad diferente: el tacto. Ser capaz de comprender las interacciones táctiles es especialmente importante para tareas como aprender cirugías delicadas y tocar instrumentos musicales, pero a diferencia del video y el audio, el tacto es difícil de registrar y transferir.
Para hacer frente a este desafío, los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT y de otros lugares desarrollaron un guante inteligente bordado que puede capturar, reproducir y transmitir instrucciones táctiles. Para complementar el dispositivo portátil, el equipo también desarrolló un agente de aprendizaje automático simple que se adapta a la forma en que los diferentes usuarios reaccionan a la retroalimentación táctil, optimizando su experiencia. El nuevo sistema podría ayudar a enseñar habilidades físicas a las personas, mejorar la teleoperación receptiva de los robots y ayudar con el entrenamiento en realidad virtual.
Un artículo de acceso abierto que describe el trabajo fue publicado en Nature Communications el 29 de enero.
¿Podré tocar el piano?
Para crear su guante inteligente, los investigadores utilizaron una máquina de bordado digital para integrar sensores táctiles y actuadores hápticos (un dispositivo que proporciona retroalimentación basada en el tacto) en los textiles. Esta tecnología está presente en los teléfonos inteligentes, donde las respuestas hápticas se activan al tocar la pantalla táctil. Por ejemplo, si presionas una aplicación de iPhone, sentirás una ligera vibración que proviene de esa parte específica de tu pantalla. De la misma manera, el nuevo wearable adaptable envía retroalimentación a diferentes partes de tu mano para indicar los movimientos óptimos para ejecutar diferentes habilidades.
El guante inteligente podría enseñar a los usuarios a tocar el piano, por ejemplo. En una demostración, se le pidió a un experto que grabara una melodía simple sobre una sección de teclas, usando el guante inteligente para capturar la secuencia en la que presionaban sus dedos sobre el teclado. Luego, un agente de aprendizaje automático convirtió esa secuencia en retroalimentación háptica, que luego se introdujo en los guantes de los estudiantes para que la siguieran como instrucciones. Con sus manos flotando sobre esa misma sección, los actuadores vibraron en los dedos correspondientes a las teclas de abajo. El proceso optimiza estas instrucciones para cada usuario, teniendo en cuenta la naturaleza subjetiva de las interacciones táctiles.
«Los humanos participan en una amplia variedad de tareas al interactuar constantemente con el mundo que los rodea», dice Yiyue Luo MS ’20, autor principal del artículo, estudiante de doctorado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT y afiliado de CSAIL. «Normalmente no compartimos estas interacciones físicas con otros. En cambio, a menudo aprendemos observando sus movimientos, como cuando tocan el piano y las rutinas de baile.
“El principal desafío a la hora de transmitir interacciones táctiles es que cada persona percibe la retroalimentación háptica de forma diferente”, añade Luo. “Este obstáculo nos inspiró a desarrollar un agente de aprendizaje automático que aprende a generar hápticos adaptativos para los guantes de las personas, lo que les permite aprender un enfoque más práctico para el movimiento óptimo”.
El sistema portátil se personaliza para adaptarse a las especificaciones de la mano de un usuario mediante un método de fabricación digital. Una computadora produce un recorte basado en las medidas de la mano de las personas, luego una máquina de bordar cose los sensores y la háptica. En 10 minutos, el dispositivo portátil suave basado en tela está listo para usar. Inicialmente entrenado con las respuestas hápticas de 12 usuarios, su modelo de aprendizaje automático adaptativo solo necesita 15 segundos de nuevos datos de usuario para personalizar la retroalimentación.
En otros dos experimentos, se transfirieron instrucciones táctiles con retroalimentación sensible al tiempo a usuarios que usaban los guantes mientras jugaban juegos portátiles. En un juego de ritmo, los jugadores aprendieron a seguir un camino estrecho y sinuoso para chocar contra una zona de gol, y en un juego de carreras, los conductores recogieron monedas y mantuvieron el equilibrio de su vehículo en su camino hacia la línea de meta. El equipo de Luo descubrió que los participantes obtuvieron las puntuaciones más altas del juego a través de hápticas optimizadas, en comparación con sin hápticas y con hápticas no optimizadas.
“Este trabajo es el primer paso para construir agentes de IA personalizados que capturan continuamente datos sobre el usuario y el entorno”, afirma el autor principal Wojciech Matusik, profesor de ingeniería eléctrica y ciencias de la computación del MIT y director del Grupo de Diseño y Fabricación Computacional dentro de CSAIL. “Estos agentes luego los ayudan a realizar tareas complejas, aprender nuevas habilidades y promover mejores comportamientos”.
Llevando una experiencia realista a entornos electrónicos
En el campo de la teleoperación robótica, los investigadores descubrieron que sus guantes podían transferir sensaciones de fuerza a los brazos robóticos, lo que les ayudaba a realizar tareas de agarre más delicadas. «Es como intentar enseñar a un robot a comportarse como un humano», afirma Luo. En un caso, el equipo del MIT utilizó teleoperadores humanos para enseñar a un robot a sujetar distintos tipos de pan sin deformarlos. Al enseñarles a agarrar de forma óptima, los humanos podían controlar con precisión los sistemas robóticos en entornos como la fabricación, donde estas máquinas podían colaborar de forma más segura y eficaz con sus operadores.
“La tecnología que impulsa el guante inteligente bordado es una innovación importante para los robots”, afirma Daniela Rus, profesora de Ingeniería Eléctrica y Ciencias de la Computación de Andrew (1956) y Erna Viterbi en el MIT, directora de CSAIL y autora del artículo. “Con su capacidad para capturar interacciones táctiles en alta resolución, similar a la piel humana, este sensor permite a los robots percibir el mundo a través del tacto. La integración perfecta de sensores táctiles en los textiles cierra la brecha entre las acciones físicas y la retroalimentación digital, ofreciendo un gran potencial en la teleoperación receptiva de robots y el entrenamiento de realidad virtual inmersiva”.
Asimismo, la interfaz podría crear experiencias más inmersivas en la realidad virtual. El uso de guantes inteligentes agregaría sensaciones táctiles a los entornos digitales en los videojuegos, donde los jugadores podrían sentir su entorno para evitar obstáculos. Además, la interfaz proporcionaría una experiencia más personalizada y basada en el tacto en los cursos de capacitación virtual utilizados por cirujanos, bomberos y pilotos, donde la precisión es primordial.
Si bien estos wearables podrían brindar una experiencia más práctica para los usuarios, Luo y su grupo creen que podrían extender su tecnología portátil más allá de los dedos. Con una respuesta háptica más fuerte, las interfaces podrían guiar los pies, las caderas y otras partes del cuerpo menos sensibles que las manos.
Luo también señaló que con un agente de inteligencia artificial más complejo, la tecnología de su equipo podría ayudar con tareas más complejas, como manipular arcilla o conducir un avión. Actualmente, la interfaz solo puede ayudar con movimientos simples como presionar una tecla o agarrar un objeto. En el futuro, el sistema del MIT podría incorporar más datos de usuario y fabricar wearables más ajustados y conformables para tener mejor en cuenta cómo los movimientos de la mano afectan las percepciones hápticas.
Luo, Matusik y Rus escribieron el artículo junto con el director y profesor de EECS Microsystems Technology Laboratories, Tomás Palacios; los miembros de CSAIL Chao Liu, Young Joong Lee, Joseph DelPreto, Michael Foshey y el profesor e investigador principal Antonio Torralba; Kiu Wu de LightSpeed Studios; y Yunzhu Li de la Universidad de Illinois en Urbana-Champaign.
El trabajo fue financiado, en parte, por una beca del MIT Schwarzman College of Computing a través de Google y una subvención de colaboración de investigación GIST-MIT, con ayuda adicional de Wistron, Toyota Research Institute y Ericsson. MIT News. A. S. Traducido al español
Contacto