MIT.nano Immersion Lab trabaja con una startup de AR/VR para crear instrucción médica transcontinental.
Benjamin Warf, un reconocido neurocirujano del Boston Children’s Hospital, se encuentra en el laboratorio de inmersión MIT.nano. A más de 3.000 millas de distancia, su avatar virtual se encuentra junto a Matheus Vasconcelos en Brasil, mientras el residente practica una delicada cirugía en un modelo de cerebro de bebé parecido a una muñeca.
Con un par de gafas de realidad virtual, Vasconcelos puede ver al avatar de Warf demostrar un procedimiento de cirugía cerebral antes de replicar la técnica él mismo y mientras le hace preguntas al gemelo digital de Warf.
«Es una experiencia casi extracorporal», dice Warf sobre ver a su avatar interactuar con los residentes. «¿Quizás sea lo que se siente al tener un gemelo idéntico?»
Y ese es el objetivo: el gemelo digital de Warf superó la distancia, permitiéndole estar funcionalmente en dos lugares a la vez. “Fue mi primer entrenamiento con este modelo y tuvo un rendimiento excelente”, dice Vasconcelos, residente de neurocirugía en la Facultad de Ciencias Médicas de la Santa Casa de São Paulo en São Paulo, Brasil. “Como residente, ahora me siento más seguro y cómodo al aplicar la técnica en un paciente real bajo la guía de un profesor”.
El avatar de Warf llegó a través de un nuevo proyecto lanzado por la empresa de simuladores médicos y realidad aumentada (RA) EDUCSIM . La empresa forma parte de la cohorte 2023 de START.nano , el acelerador de tecnología profunda de MIT.nano que ofrece a las empresas emergentes en etapa inicial acceso con descuento a los laboratorios de MIT.nano.
En marzo de 2023, Giselle Coelho, directora científica de EDUCSIM y neurocirujana pediátrica del Hospital Infantil de Santa Casa de São Paulo y de Sabará, comenzó a trabajar con el personal técnico del Laboratorio de Inmersión MIT.nano para crear el avatar de Warf. En noviembre, el avatar ya estaba entrenando a futuros cirujanos como Vasconcelos.
“Tuve la idea de crear el avatar del Dr. Warf como prueba de concepto y me pregunté: ‘¿En qué lugar del mundo se trabaja con tecnologías como esa?’”, dice Coelho. “Entonces encontré MIT.nano”.
Capturando a un cirujano
Como residente de neurocirugía, Coelho estaba tan frustrada por la falta de opciones de formación práctica para cirugías complejas que construyó su propio modelo de cerebro de bebé. El modelo físico contiene todas las estructuras del cerebro e incluso puede sangrar, “simulando todos los pasos de una cirugía, desde la incisión hasta el cierre de la piel”, afirma.
Pronto descubrió que los simuladores y las demostraciones de realidad virtual (RV) reducían la curva de aprendizaje de sus propios residentes. Coelho lanzó EDUCSIM en 2017 para ampliar la variedad y el alcance de la capacitación para residentes y expertos que buscan aprender nuevas técnicas.
Entre esas técnicas se encuentra un procedimiento para tratar la hidrocefalia infantil, cuyo pionero fue Warf, director de neurocirugía neonatal y congénita del Boston Children’s Hospital. Coelho había aprendido la técnica directamente de Warf y pensó que su avatar podría ser la manera de que los cirujanos que no pudieran viajar a Boston se beneficiaran de su experiencia.
Para crear el avatar, Coelho trabajó con Talis Reks, tecnólogo en TI de AR/VR/juegos/big data en el Laboratorio de Inmersión.
“Para las empresas emergentes, el acceso a una gran cantidad de tecnología y hardware puede resultar muy costoso cuando comienzan su andadura empresarial”, explica Reks. “START.nano es una forma de permitirles utilizar y costear las herramientas y tecnologías que tenemos en el Laboratorio de Inmersión de MIT.nano”.
Coelho y sus colegas necesitaban tecnología de captura de movimiento de alta resolución y fidelidad, captura de video volumétrica y una variedad de otras tecnologías de realidad virtual y aumentada para capturar los hábiles movimientos de los dedos y las expresiones faciales de Warf. Warf visitó MIT.nano en varias ocasiones para que lo «capturaran» digitalmente, incluida una operación en el modelo físico del bebé mientras usaba guantes especiales y ropa con sensores incorporados.
“Estas tecnologías se han utilizado principalmente para entretenimiento o efectos visuales o imágenes generadas por computadora”, dice Reks, “pero este es un proyecto único, porque las estamos aplicando ahora a la práctica médica real y al aprendizaje real”.
Uno de los mayores desafíos, dice Reks, fue ayudar a desarrollar lo que Coelho llama “holotransportación”: transmitir la captura de video volumétrica tridimensional de Warf en tiempo real a través de Internet para que su avatar pueda aparecer en un entrenamiento médico transcontinental.
El avatar de Warf tiene modos sincrónicos y asincrónicos. La capacitación que recibió Vasconcelos fue en modo asincrónico, donde los residentes pueden observar las demostraciones del avatar y hacerle preguntas. Las respuestas, brindadas en una variedad de idiomas, provienen de algoritmos de IA que se basan en investigaciones previas y un amplio banco de preguntas y respuestas proporcionado por Warf.
En el modo sincrónico, Warf maneja su avatar a distancia en tiempo real, dice Coelho. “Podía caminar por la habitación, podía hablarme, podía orientarme. Es increíble”.
Coelho, Warf, Reks y otros miembros del equipo demostraron una combinación de los modos en una segunda sesión a fines de diciembre. Esta demostración consistió en una captura de video volumétrico en vivo entre el Laboratorio de Inmersión y Brasil, espacializada y visible en tiempo real a través de auriculares AR. Amplió significativamente la demostración anterior, que solo había transmitido datos volumétricos en una dirección a través de una pantalla bidimensional.
Impactos poderosos
Warf tiene una larga trayectoria en la formación de neurocirujanos pediátricos que se necesitan desesperadamente en todo el mundo, más recientemente a través de su organización sin fines de lucro Neurokids . La formación remota y simulada ha sido una parte cada vez más importante de la formación desde la pandemia, dice, aunque no cree que alguna vez reemplace por completo la instrucción y la colaboración personales y prácticas.
“Pero si de hecho un día pudiéramos tener avatares, como este de Giselle, en lugares remotos mostrando a la gente cómo hacer cosas y respondiendo preguntas por ellos, sin el costo del viaje, sin el costo del tiempo y demás, creo que podría ser realmente poderoso”, dice Warf.
El proyecto Avatar es especialmente importante para los cirujanos que atienden en zonas remotas y desatendidas como la región amazónica de Brasil, afirma Coelho. “Es una manera de darles el mismo nivel de educación que recibirían en otros lugares y la misma oportunidad de estar en contacto con el Dr. Warf”.
Un bebé tratado por hidrocefalia en una reciente clínica de la Amazonia había viajado en barco 30 horas para la cirugía, según Coelho.
“Entrenar a los cirujanos con el avatar puede cambiar la realidad de este bebé y puede cambiar el futuro”, afirma. MIT News. B. H. Traducido al español
Contacto