Stability AI ha presentado Stable Video 3D, un modelo para la generación de video en tres dimensiones. SV3D ha sido desarrollado a partir de la tecnología ya presente en Stable Video Diffusion.
SV3D está disponible en dos variantes. El SV3D_u es capaz de producir videos en base a una sola imagen sin establecer parámetros para las cámaras. El SV3D_p permite acomodar las imágenes empleadas así como los puntos de vista. De esta manera es posible establecer recorridos de cámaras específicos.
Ambas versiones están disponibles para el uso comercial, en el caso de las personas que son clientes de Stability AI. También es posible conseguir los modelos para el uso no comercial y el informe del trabajo de investigación y desarrollo realizado para este producto.
Ventajas del nuevo modelo
Stability AI ya tenía un sistema de generación de videos. Sin embargo la adopción de un sistema tridimensional tiene como primera ventaja la capacidad de establecer diferentes puntos de vista. Además, en términos generales Stability destaca que la tecnología desarrollada para SV3D permite generar video con mayor nivel de detalle y una calidad que se mantiene a lo largo de los distintos cuadros.
Uno de los aspectos en el que SV3D se destaca es la generación de imágenes desde un nuevo punto de vista a partir de los datos obtenidos desde otros ángulos (Novel View Synthesis). Esto le permite ubicar la cámara en cualquier ángulo y lleva a un mayor nivel de consistencia en la apariencia de los objetos a lo largo de todos los puntos de vista.
Cuadro comparativo con otros modelos de acceso público.
La mejora en la consistencia entre los distintos ángulos de visión permite la optimización de las reconstrucciones tridimensionales de las imágenes a través del método conocido como Neural Radiance Field. También mejora las estructuras tridimensionales producidas a partir de los nuevos puntos de vista.
