Con esta app tu asistente de voz podrá leerte los labios [VIDEO]

^{Ke Sun et al. / UIST, 2018}

Desarrolladores chinos han creado una aplicación para smartphones que reconoce los movimientos de los labios del usuario y convierte los comandos en acciones en el dispositivo. A diferencia de los asistentes de voz comunes, la aplicación se puede usar en lugares públicos sin molestar a otras personas, dicen los desarrolladores en el artículo presentado en la conferencia UIST 2018.

Casi todos los teléfonos inteligentes modernos están equipados con asistentes de voz que reconocen y ejecutan órdenes del usuario. Sin embargo, los estudios muestran que la mayoría de las personas no usan asistentes de voz en lugares públicos porque se sienten incómodos. Yuanchun Shi y sus colegas de la Universidad de Tsinghua han desarrollado un asistente de voz para teléfonos inteligentes que pueden reconocer los movimientos de los labios, incluso si el usuario no emite sonidos.

La aplicación identifica el rostro con la cámara del teléfono inteligente y luego comienza a rastrear la posición de los 20 puntos de control que describen con precisión la forma de los labios. Además, determina el grado de apertura de la boca, lo que le permite identificar el inicio y final de la orden. Después, los datos se transmiten a otro algoritmo basado en una red neuronal convolucional, que reconoce lo que una persona dice mediante el movimientos de los labios. Vale la pena señalar que por ahora los desarrolladores llevaron a cabo este proceso no en un smartphone, sino en una computadora bastante potente.

^{Ejemplo de creación de puntos de control en video desde una cámara. /Ke Sun et al. / UIST, 2018}

Los autores de la aplicación desarrollaron 44 comandos, parte de los cuales permite interactuar con cualquier aplicación que utilice los servicios del sistema, por ejemplo, seleccionar texto. Asimismo, la aplicación entiende el contexto de las órdenes: si el sistema muestra una ventana emergente con un mensaje, el usuario podrá responder rápidamente.

^{Ke Sun et al. / UIST, 2018}
Recientemente, un estadounidense creó un programa que permite comunicarse con el asistente de voz Alexa mediante el lenguaje de señas. El programa reconoce los gestos usando la cámara de la laptop y los convierte en comandos de voz para el asistente, y luego reconoce las respuestas del asistente y las muestra en la pantalla en forma de texto. El blog prosthetic knowledge escribió sobre ello.
 

María Cervantes
Esta noticia ha sido publicada originalmente en N+1, ciencia que suma.

Sobre N+1: Es la primera revista online de divulgación científica y tecnológica que permite la reproducción total o parcial de sus contenidos por medios de comunicación, bloggers e influencers, realizando la mención del texto y el enlace a la web: “Esta noticia ha sido publicada originalmente en la revista N+1, ciencia que suma: www.nmas1.org”.​​​​​​