Esta red neuronal convierte las palabras en movimientos robóticos

Modelo de acción de un surfista en una tabla en un océano intranquilo
Ahn et al. / arXiv 2017
Investigadores de la Universidad de Seúl crearon Text2Action, una red neuronal que convierte una descripción de texto de una acción en una animación de movimientos de un modelo tridimensional. El algoritmo funciona en base a la red generativa antagónica (GAN, por sus siglas en inglés) y con su ayuda es posible, por ejemplo, enseñar al robot a comprender la descripción de texto de acciones. La preimpresión del artículo se publicó en el sitio web arXiv.
GAN está basada en el modelo Seq2Seq (secuencia a secuencia). Esta red neuronal aprende las dependencias entre los datos de entrada y salida, en este caso, entre el pedido recibido para indicar la acción y la imagen animada correspondiente. El procesamiento de la información de texto y el proceso posterior de su procesamiento en la imagen se basa en el trabajo de las redes neuronales recurrentes.
Algoritmo de funcionamiento de una red neuronal
Ahn et al. / arXiv 2017
La red neuronal fue entrenada con la base de datos pública MSR-VTT, creada por Microsoft, que contiene videos de acciones de varias personas y su descripción escrita automática. En total, se usaron 29.770 pares de "descripción-video" para el entrenamiento. Como resultado, la red neuronal no solo pudo convertir las oraciones separadas (combinadas con videos) en modelos animados, sino también crear nuevos modelos basados en varios pares de "descripción-video". Los resultados del trabajo de la red neuronal superan en realismo al algoritmo presentado anteriormente.
Resultados del funcionamiento del la red neuronal (primera fila) y del anterior algoritmo
Ahn et al. / arXiv 2017
Resultados del funcionamiento del la red neuronal (primera fila) y del anterior algoritmo
Ahn et al. / arXiv 2017
Además, los desarrolladores integraron la nueva red neuronal en Baxter, un robot de código abierto que a menudo utilizan los investigadores en proyectos de aprendizaje automático (por ejemplo, para probar el funcionamiento de una interfaz neuronal). Los investigadores lograron enseñar al robot a realizar acciones basadas en la descripción del texto.
Elizabeth Ivtushok
Si te gustó esta noticia, entérate de más a través de nuestros canales de Facebook y Twitter.
Novedades

La inteligencia artificial y el big data en el sector del entretenimiento
Proteja sus datos personales y comerciales a un nivel superior
La piel de oveja: un inusitado aliado anti fraude de los antiguos abogados
Cómo mejorar la seguridad en una página web
Colombia, Ecuador y Perú comparten gran parte de su biodiversidad agrícola y el dilema por el uso de las semillas nativas o transgénicas. Estas últimas están en vilo porque, a pesar de haber pasado por muchos estudios científicos, todavía hay quienes dudan de su seguridad e impacto tanto en la salud como en el medioambiente.
Transgénicos en los Andes
Países andinos Colombia, Ecuador y Perú viven una encrucijada por el uso y la normativa de los cultivos y alimentos genéticamente modificados
Suscríbete
Déjanos tu mail para recibir nuestro boletín de noticias
Leer también

Supercomputadoras en Latinoamérica
¿Por qué es importante poseer una kraken informático de alto rendimiento?
La de estos científicos es una historia de logros técnicos, flexibilidad e ingenio en el contexto de un nuevo campo de la ingeniería, impulsado por las necesidades e incentivos del conflicto. Pero es también una historia de valentía, compromiso, persistencia y tragedia.

La desgarradora historia de los matemáticos voladores de la I Guerra Mundial
Las baterías autosostenibles son necesarias para las actividades en las que se utilizan sensores. Estas incluyen el seguimiento a largo plazo de especies silvestres, como los zorros voladores, las evaluaciones plurianuales de la biodiversidad en las selvas tropicales australianas y el Amazonas, o el estudio de la salud de la Gran Barrera de Coral.
