El ‘deep fake’ nuevamente hace de las suyas: ahora manipula un partido de tenis

Facebook

Los desarrolladores de Facebook AI Research han creado un algoritmo que permite controlar el movimiento de las personas en un video y cambiar el fondo. El algoritmo se basa en dos redes neuronales, una de las cuales determina la posición de la persona y la cambia según el comando del usuario, y la segunda se encarga de crear un nuevo video realista con la posición cambiada de la persona, dicen los autores del artículo en arXiv.org.

La transferencia de objetos y estilos entre imágenes es uno de los ejemplos más impresionantes de progreso en el campo de los algoritmos de redes neuronales. Quizás el ejemplo más famoso de esta migración es el algoritmo deepfakes, que creó clips pornográficos con su ayuda, en los que los rostros de los actores originales fueron sustituidos de forma realista por los rostros de las celebridades. Al mismo tiempo, tales algoritmos suelen estar limitados por el hecho de que funcionan solo para clips existentes con movimientos predeterminados y no permiten controlar los movimientos de una persona en un modo interactivo.

Cambiar movimientos realistas a voluntad

Los investigadores de Facebook AI Research han desarrollado un algoritmo que no sólo puede transferir movimientos entre videos, sino también cambiarlos a voluntad de los usuarios. El programa se basa en dos algoritmos de red neuronal, Pose2Pose y Pose2Frame. Ambos algoritmos se basan en la red neuronal pix2pixHD, que fue desarrollada en 2017 para la transferencia entre diferentes tipos de imágenes o grabaciones de video. Además, los autores utilizaron el algoritmo DensePose, que extrae un modelo tridimensional del cuerpo humano de un marco bidimensional. Una vez que el modelo Pose2Pose ha sido creado, convierte la grabación original con la persona que se mueve en un registro con la persona que se mueve sobre un fondo negro. En la misma etapa, la red neuronal recibe comandos del usuario que obligan a la persona en el video a moverse en una u otra dirección en el espacio bidimensional. Basándose en la postura en el cuadro actual y en la señal del usuario, la red neuronal crea el siguiente cuadro, donde la persona ya está en otro lugar del marco.

 

 

En la siguiente etapa, el algoritmo Pose2Frame, que es responsable de convertir un video técnico con una pose humana en un videoclip realista, ya está produciendo el procesamiento. Para cada marco, crea varios nuevos, incluyendo un marco de color con una persona y sus sombras. Estos marcos de la red neural se unen y se superponen al fondo establecido por el usuario.

Los experimentos con el algoritmo han demostrado que es capaz de crear clips bastante realistas, y con diferentes acciones de las personas, no sólo jugando al tenis. Sin embargo, el video muestra que en el proceso de la red neuronal crea muchos más elementos de imagen.

El año pasado, los desarrolladores de NVIDIA crearon un autosimulador de red neuronal. El motor del juego se encarga de calcular la estructura del mundo del juego, crear modelos 3D y una secuencia de cuadros con segmentación semántica de áreas. Así resulta el videoclip en el que se pintan objetos de diferentes tipos en determinados colores. Después, el algoritmo de red neuronal para la transferencia de imágenes convierte el vídeo semánticamente segmentado en una grabación de vídeo realista.

 

Viviana Márquez

Esta noticia ha sido publicada originalmente en N+1, tecnología que suma

Sobre N+1: Es la primera revista online de divulgación científica y tecnológica que permite la reproducción total o parcial de sus contenidos por medios de comunicación, bloggers e influencers, realizando la mención del texto y el enlace a la web: “Esta noticia ha sido publicada originalmente en la revista N+1, tecnología que suma:www.nmas1.org”.

Suscríbete

Déjanos tu mail para recibir nuestro boletín de noticias

La confirmación ha sido enviada a tu correo.