Investigadores de Stanford Engineering han desarrollado un modelo entrenado por IA para recrear con precisión los movimientos de las manos de pianistas de élite y las tensiones físicas que soportan mientras tocan.
Los pianistas profesionales pasan incontables horas tocando las teclas, perfeccionando su técnica. Para las personas con manos más pequeñas, esta dedicación puede tener un costo físico. El estiramiento repetido para alcanzar teclas distantes en un acorde puede tensar músculos y articulaciones y puede provocar tendinitis, síndrome del túnel carpiano y otras lesiones.
Los investigadores de Stanford están trabajando para comprender las fuerzas que intervienen en los movimientos de las manos de los pianistas de élite y cómo cambian con diferentes tamaños de mano y anchos de teclado. El 5 de diciembre, en SIGGRAPH Asia 2024, los investigadores de Stanford Engineering presentaron un modelo entrenado con inteligencia artificial que puede recrear los movimientos de las manos necesarios para tocar piezas musicales complicadas y las tensiones físicas a las que están sometidas esas manos. Este es el primer paso en un esfuerzo por reducir el riesgo de lesiones a largo plazo en los pianistas y probar soluciones, como teclados más estrechos, que podrían hacer que tocar el piano sea más equitativo para todos.
“Nunca esperaríamos que un atleta de clase mundial compita con un equipo que no se adapta a su cuerpo. Sin embargo, pedimos a los pianistas, en particular a las mujeres, que se adapten a un diseño único que nunca fue diseñado para ellas”, dijo Elizabeth Schumann , directora de estudios de teclado de Billie Bennet Achilles en la Facultad de Humanidades y Ciencias y coautora del artículo. “Podemos utilizar investigaciones como esta para reformular el futuro de la interpretación y hacerlo más sostenible”.
Capturando el rendimiento de élite
El teclado del piano moderno fue diseñado en el siglo XIX teniendo en mente al hombre europeo medio. Hoy en día, se estima que el 87% de las mujeres adultas y el 24% de los hombres adultos tienen manos más pequeñas de lo ideal para un piano estándar. El uso de métodos tradicionales para estudiar los impactos de las manos más pequeñas requeriría seguir a una cohorte de pianistas durante décadas, y aún podría ser difícil cuantificar los riesgos de lesiones o probar soluciones. En cambio, los investigadores han registrado los movimientos de las manos de pianistas profesionales y están utilizando inteligencia artificial para predecir cómo se moverían manos de distintos tamaños para tocar nueva música.
Schumann y sus colegas reclutaron a 15 pianistas de élite para que tocaran un total de 10 horas de música mientras las cámaras filmaban sus manos desde todos los ángulos. Los investigadores no podían colocar ningún sensor en los pianistas sin interferir potencialmente con su interpretación, por lo que utilizaron técnicas avanzadas de visión artificial para combinar los videos y reconstruir los movimientos de las manos de los músicos en tres dimensiones. Utilizaron un procesamiento adicional para asegurarse de que esos movimientos estuvieran perfectamente sincronizados con el audio.
«Este no es un modelo que reemplaza a las personas: estamos trabajando con músicos para ayudarlos a comprender y resolver problemas. Este proyecto tiene como objetivo hacer avanzar a las personas, y la IA es solo una herramienta para eso».Karen LiuProfesor de Ciencias de la Computación
“La calidad de los datos que pudimos obtener no tiene precedentes”, afirmó Karen Liu , profesora de informática en Stanford y autora principal del artículo. “No se trata solo de que los movimientos 3D reconstruidos sean precisos y limpios; la calidad de la interpretación en sí es realmente notable. Pudimos capturar diversos movimientos de un grupo de músicos talentosos que actuaban a un alto nivel; nunca había visto un conjunto de datos como ese en el pasado”.
Roucheng Wang, estudiante de posgrado en el laboratorio de Liu, y Pei Xu, investigador postdoctoral, utilizaron este conjunto de datos para entrenar un modelo que generara con precisión nuevos datos sobre la interpretación del piano. Cuando le dieron al modelo una partitura que nunca había visto, como “Para Elisa” de Beethoven, el modelo pudo proporcionar los movimientos correctos de la mano en 3D necesarios para tocar la pieza, utilizando un piano simulado para generar sonido.
“Me quedé atónito con la precisión con la que este modelo podía simular una técnica de élite”, dijo Schumann. “Es realmente increíble”.
De articulaciones robóticas a músculos reales
Este modelo es sólo el primer paso para Liu, Schumann y sus colegas. Por el momento, el modelo puede simular físicamente los movimientos de la mano, pero no simula los músculos y tendones que crean esos movimientos ni la tensión a la que están sometidos.
“Aún no hemos llegado al nivel de biomecánica, en el que el accionamiento de las manos se genera mediante músculos; actualmente, nuestro modelo es más bien como un robot que genera directamente el par en las articulaciones”, dijo Liu. “Con el tiempo, nuestro modelo debe ser capaz de predecir el nivel de tensión de los músculos y el potencial de lesiones”.
Los investigadores están trabajando actualmente para añadir estas capas a su modelo, de modo que puedan utilizarlo para ayudar a los pianistas (especialmente a aquellos con manos pequeñas) a evitar lesiones. También están adaptando su trabajo para modelar los movimientos de otros músicos diestros. Han aplicado algunas de las mismas técnicas a un conjunto de datos existente de movimientos de manos de guitarristas muy habilidosos. Sus resultados, que también se presentaron recientemente en SIGGRAPH Asia 2024, demostraron que podían modelar con éxito los distintos movimientos de la mano izquierda y derecha necesarios para tocar una variedad de música popular y clásica.
“Con datos de alta calidad, podríamos modelar los movimientos en 3D necesarios para otros tipos de interpretación musical”, dijo Liu. “Este no es un modelo que reemplaza a las personas: estamos trabajando con músicos para ayudarlos a comprender y resolver problemas. Este proyecto tiene como objetivo hacer avanzar a las personas, y la IA es solo una herramienta para eso”. Stanford Report. Traducido al español
Contacto