¿Algunas vez has disfrutado de una gran película hasta que un final desastroso la ha arruinado? O quizás hayas descubierto que un personaje que no te agrada realmente le aporta poco a la historia. En un futuro no muy lejano es posible que puedas cambiar lo que sucede en la pantalla. IA mediante.
En un futuro aún más cercano las productores de cine y televisión podrán modificar las secuencias de sus producciones y eliminar objetos indeseables. Es cierto que parte de esa tecnología ya existía. Era posible borrar un objeto. Pero si ese objeto interactuaba con otros las consecuencias de su presencia seguían allí. VOID de Netflix tiene la capacidad de eliminar esas consecuencias.
La magia de VOID
VOID son las siglas en inglés para Borrado de Objetos de Video e Interacción. En esencia estamos ante un modelo de lenguaje de video (VLM) muy avanzado. VOID elimina el objeto molesto y se encarga de corregir el comportamiento de todos los elementos con los que el objeto interactuaba en la escena.
En uno de los videos de ejemplo se puede ver a una niña utilizando una licuadora. Al eliminar a la niña de la secuencia la licuadora pasa de estar trabajando a estar en descanso. Dos autos chocando de frente se convierten en un auto avanzando con normalidad una vez que el otro es eliminado.
La buena noticia es que el modelo no es de uso exclusivo de Netflix, sino que está disponible para cualquier interesado en la plataforma especializada en IA Hugging Face.
Método
El sistema deja que el usuario elija un objeto a eliminar. Luego identifica las regiones de la escena que podrían ser afectadas y crea una máscara en dichas regiones.
El modelo de difusión crea una primera versión del video con el objeto y sus interacciones ya eliminadas. Finalmente examina el resultado para ver si se ha producido alguna deformación de los objetos presentes y corrige este error si es necesario.
