Red neuronal aprender a dividir y reemplazar objetos en fotografías [VIDEO]

MITECARIO / YouTube

Investigadores estadounidenses han creado un algoritmo que automáticamente divide objetos por tipos en fotografías, y luego los reemplaza (por ejemplo, el fondo) por otros. El algoritmo tiene en cuenta que algunos píxeles de la imagen pueden pertenecer simultáneamente a dos objetos diferentes, y crea transiciones suaves entre los objetos. El artículo fue presentado en la conferencia SIGGRAPH 2018.

Como regla, la selección de ciertos objetos en la imagen ocurre manualmente. Para ello, se puede utilizar la selección manual o instrumentos como "lazo mágico", que en modo semiautomático define los límites entre diferentes objetos, en función de las diferencias en los colores de las áreas limítrofes. Además, existen algoritmos de aprendizaje automático que llevan a cabo automáticamente la segmentación semántica: dividen la imagen en regiones que corresponden a objetos de diferentes tipos. 

Un grupo de investigadores del MIT y de la escuela ETH Zurich bajo la dirección de Wojciech Matusik crearon una implementación mejorada del algoritmo de segmentación semántica capaz de procesar con calidad los bordes de los objetos cuando al aplicar el fondo u otros objetos. Los desarrolladores no establecieron la tarea de clasificar las áreas por tipos, por ello el algoritmo separa los objetos en función de los límites entre ellos. Los investigadores tomaron en cuenta que en las áreas cercanas al borde de los objetos, los píxeles pueden pertenecer a dos objetos simultáneamente. Es por esto que los métodos clásicos para delinear objetos no funcionan bien con el cabello, las telas translúcidas y otros objetos similares.


El algoritmo basado en una red neuronal convolucional, divide la imagen en capas con objetos, teniendo en cuenta su transparencia en las regiones límite. Durante el análisis de imágenes, el algoritmo tiene en cuenta tanto la proximidad semántica de los píxeles en la imagen, como el color y la textura. Como resultado, el algoritmo ha aprendido a trabajar con fotografías en las cuales hay objetos de diferentes tipos, y a reemplazar cualitativamente parte de las capas con otras.

Por ejemplo, puede reconocer automáticamente a una persona contra el fondo del mar y reemplazar solo el mar, dejando a la persona y al suelo debajo de ella. Los investigadores observan que potencialmente el método se puede usar para videos, pero esta tarea no era parte del objetivo del trabajo.

En mayo, la Universidad de California, Berkeley y la Universidad Carnegie Mellon se unieron para desarrollar un algoritmo que puede detectar inconsistencias en una imagen adulterada. Este sistema ha sido entrenado con más de 400.000 fotos de Flickr. El equipo se valió de la información que proporcionaban los metadatos o datos EXIF. Aquí se puede encontrar detalles de la configuración de la cámara, el objetivo, el flash, etc
 

María Cervantes
Esta noticia ha sido publicada originalmente en N+1, ciencia que suma.

Sobre N+1: Es la primera revista online de divulgación científica y tecnológica que permite la reproducción total o parcial de sus contenidos por medios de comunicación, bloggers e influencers, realizando la mención del texto y el enlace a la web: “Esta noticia ha sido publicada originalmente en la revista N+1, ciencia que suma: www.nmas1.org".

Novedades

Suscríbete

Déjanos tu mail para recibir nuestro boletín de noticias

La confirmación ha sido enviada a tu correo.