Esta red neuronal convierte las palabras en movimientos robóticos

^{Modelo de acción de un surfista en una tabla en un océano intranquilo}

^{Ahn et al. / arXiv 2017}

Investigadores de la Universidad de Seúl crearon Text2Action, una red neuronal que convierte una descripción de texto de una acción en una animación de movimientos de un modelo tridimensional. El algoritmo funciona en base a la red generativa antagónica (GAN, por sus siglas en inglés) y con su ayuda es posible, por ejemplo, enseñar al robot a comprender la descripción de texto de acciones. La preimpresión del artículo se publicó en el sitio web arXiv.

GAN está basada en el modelo Seq2Seq (secuencia a secuencia). Esta red neuronal aprende las dependencias entre los datos de entrada y salida, en este caso, entre el pedido recibido para indicar la acción y la imagen animada correspondiente. El procesamiento de la información de texto y el proceso posterior de su procesamiento en la imagen se basa en el trabajo de las redes neuronales recurrentes.

^{Algoritmo de funcionamiento de una red neuronal}

^{Ahn et al. / arXiv 2017}

La red neuronal fue entrenada con la base de datos pública MSR-VTT, creada por Microsoft, que contiene videos de acciones de varias personas y su descripción escrita automática. En total, se usaron 29.770 pares de "descripción-video" para el entrenamiento. Como resultado, la red neuronal no solo pudo convertir las oraciones separadas (combinadas con videos) en modelos animados, sino también crear nuevos modelos basados en varios pares de "descripción-video". Los resultados del trabajo de la red neuronal superan en realismo al algoritmo presentado anteriormente.

^{Resultados del funcionamiento del la red neuronal (primera fila) y del anterior algoritmo}

^{Ahn et al. / arXiv 2017}

^{Resultados del funcionamiento del la red neuronal (primera fila) y del anterior algoritmo}

^{Ahn et al. / arXiv 2017}

Además, los desarrolladores integraron la nueva red neuronal en Baxter, un robot de código abierto que a menudo utilizan los investigadores en proyectos de aprendizaje automático (por ejemplo, para probar el funcionamiento de una interfaz neuronal). Los investigadores lograron enseñar al robot a realizar acciones basadas en la descripción del texto.

Elizabeth Ivtushok

Si te gustó esta noticia, entérate de más a través de nuestros canales de Facebook y Twitter.