Un grupo de científicos de la Universidad de Tel Aviv y la unidad de Inteligencia Artificial de Facebook ha propuesto una nueva técnica para agregar la imagen de una persona a una fotografía.
El sistema desarrollado crea un mapa semántico de los individuos, lo que le permite calcular como se verían al adoptar ciertas poses y como podrían encajar en la imagen objetivo.
La herramienta se conoce como Wish you were here (desearía que estuvieras aquí) y ha sido caracterizada como un generador de figuras humanas con conciencia del entorno.
El método
La aplicación está compuesta por tres elementos fundamentales.
La EGN, o red de generación de esencia, que es la que genera las poses. Los mapas semánticos que produce incluyen varios elementos, partes del cuerpo, como los torzos, las caras, el pelo, pero también el fondo.
La MCRN, o red de representación de condiciones múltiples, encargada de recrear la persona en base al mapa semántico y las poses. Este componente permite la modificación de la apariencia de la persona que se agrega a la fotografía. Lo que permite ajustarla al contexto de la imagen.
La FRN, la red de refinamiento para rostros, que básicamente se encarga de mejorar la apariencia de los rostros generados. Para realizar estas mejoras se toma como base la imagen original de la persona insertada en la fotografía.
Lo primero que pide la aplicación es seleccionar la imagen objetivo. A continuación puede crearse un recuadro indicando donde debe agregarse la figura. El programa genera entonces una pose para el nuevo elemento. Luego toma los datos de la apariencia de la persona y genera una imagen de ella en la fotografía.
Resultados
Para ser un trabajo realizado de forma automática por una IA los resultados son interesantes. Si dejamos este hecho de lado las imágenes parecen malos intentos de edición fotográfica, dignos de un meme preparado con apuro para un foro o red social.
La técnica también tiene ciertas limitaciones, algunas de ellas tienen resultados curiosos, como el cambio en el estilo en el cabello de las personas.
Lo destacable del trabajo es la comprensión de la IA de los elementos que componen la figura y como trabaja con ellos considerando la naturaleza de cada uno.
