Red neuronal de Facebook ahora predice el movimiento de un músico [VIDEO]

PxHere 

Los desarrolladores de Facebook desarrollaron una red neuronal que puede predecir los movimientos de las manos de un músico. El sistema escucha la composición musical y simultáneamente proyecta en realidad aumentada (RA) un avatar tocando la melodía. Los programadores, cuyo artículo fue presentado en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones (CVPR), creen que el desarrollo puede ser útil para aprender a tocar los instrumentos musicales.

Hoy en día, para aprender un instrumento de manera independiente, se utilizan diferentes aplicaciones y videos. Sin embargo, como regla, solo nos permiten considerar los movimientos de un músico desde cierto ángulo. Tener un “maestro” en RA puede ser más conveniente para los aprendices, ya que les permitirá ver completamente la configuración correcta de las manos cuando toquen el instrumento.

Un profesor en realidad aumentada 

El equipo de desarrollo dirigido por Eli Shlizerman decidió crear un avatar virtual que podría simular los movimientos de las manos de un pianista o un violinista, basándose en grabaciones de audio. Para hacer esto, usaron una red LSTM-neuronal. Este es un tipo de arquitectura de redes neuronales recurrentes, donde cada capa tiene retroalimentación con otras capas y tiene un tipo de memoria que les permite aprender de sus errores y aprender relaciones a largo plazo.

Para entrenar la red, los programadores usaron videos disponibles públicamente, en los que los profesionales tocan instrumentos musicales sin acompañamiento. Para el piano, los investigadores lograron recolectar 3.6 horas de material, para el violín, 4.4 horas. En cada cuadro de la grabación de video, la red neuronal determinó dónde estaban las manos y los dedos del intérprete y construyó un modelo de esqueleto.

Luego, comparó estos datos con los coeficientes cepstrales de frecuencia, que se utilizan como una característica de las señales de audio. Es importante tener en cuenta que los investigadores no utilizaron archivos midi, por lo que la red neuronal no estaba entrenada para las dependencias entre notas y, por ejemplo, teclas de piano específicas.

Como resultado, el programa ha aprendido a determinar la relación entre las características del sonido y los movimientos de las manos del músico y construir predicciones. Finalmente los desarrolladores usaron modelos de esqueletos para crear un avatar en realidad aumentada que realice los movimientos del músico. El resultado de su trabajo se puede ver en el siguiente video:

El video muestra que el avatar imita a los músicos en lugar de repetir completamente sus movimientos. Sin embargo, los movimientos del personaje virtual parecen bastante naturales. Según los creadores, en el futuro esta tecnología puede encontrar muchas aplicaciones. Por ejemplo, un avatar puede usarse para entrenamientos, mientras que copiará los movimientos de un profesional en realidad aumentada, el aprendiz podrá moverse a su alrededor desde diferentes lados y observar la técnica.

Facebook está sorprendiendo con sus avances en inteligencia artificial. Hace solo unos días presentaron una red neuronal que tiene la capacidad de “abrir los ojos” de las personas que salen en sus fotos con los ojos cerrados.

 

Victor Román
Esta noticia ha sido publicada originalmente en N+1, tecnología que suma.

Sobre N+1: Es la primera revista online de divulgación científica y tecnológica que permite la reproducción total o parcial de sus contenidos por medios de comunicación, bloggers e influencers, realizando la mención del texto y el enlace a la web: “Esta noticia ha sido publicada originalmente en la revista N+1, tecnología que sumawww.nmas1.org”.

Novedades

Suscríbete

Déjanos tu mail para recibir nuestro boletín de noticias

La confirmación ha sido enviada a tu correo.