Desarrollador de IA de vídeo en tiempo real descartar dice que está preparado para transformar el video marketing con el lanzamiento de Lucy 2, un nuevo modelo innovador que puede editar sin problemas transmisiones en vivo de formato largo a través de indicaciones en lenguaje natural.
El modelo de código abierto no sólo genera vídeo de alta calidad, sino que también proporciona las herramientas necesarias para editar dinámicamente ese contenido sobre la marcha sin comprometer su realismo. Elimina la necesidad de editar el vídeo con IA en la posproducción, lo que abre la puerta a nuevos usos de marketing en transmisión en vivo, pruebas virtuales, colocación personalizada de productos y más, afirma la compañía en un comunicado de prensa.
Ediciones más coherentes y rápida adherencia
Lo que distingue a Lucy 2 de los modelos de generación de vídeo de la competencia, como Veo 3 de Google y Sora 3 de OpenAI, es su capacidad para procesar vídeo entrante instantáneamente con una latencia inferior a un segundo. Los usuarios podrán aplicar cambios de estilo, manipular objetos y personajes, modificar el escenario y más, mientras se genera el video.
Decart explicó en un publicación de blog que Lucy 2 integra modelos de difusión que han sido optimizados para lograr consistencia temporal y baja latencia para mejorar la coherencia general de sus videos. Puede ingerir video en vivo desde múltiples fuentes, como la cámara de un teléfono inteligente, una cámara web o una transmisión RTMP y aplicar procesamiento de inteligencia artificial a ese metraje en tiempo real para transformarlo de infinitas maneras. El modelo hace esto mientras funciona a 1080p y 30 fps, produciendo resultados inmediatos sin interrupciones en la transmisión de video en vivo ni pérdida de calidad.
Los creadores podrán experimentar con Lucy 2 de varias maneras, usando indicaciones simples para “reemplazar el fondo con la ciudad de Nueva York” y hacer que parezca como si estuvieran transmitiendo en vivo desde una ubicación completamente diferente. O bien, podrían ordenarle a Lucy 2 que transforme al sujeto en un personaje de dibujos animados y cambie completamente la apariencia de la persona en la película en un instante.
Según Decart, el rendimiento en tiempo real de Lucy 2 se beneficia de varios ajustes que la compañía ha realizado, como optimizarlo para ejecutarlo en las GPU y técnicas de destilación de modelos más avanzadas de Nvidia.
Decart también habló sobre los cambios arquitectónicos aplicados a Lucy 2, que hacen que funcione de manera muy diferente a los modelos de vídeo tradicionales. En particular, integra un canal de difusión que le ayuda a alcanzar un nivel de coherencia sin precedentes en los fotogramas. Produce vídeo continuamente fotograma a fotograma sin limitaciones de tiempo para eliminar los artefactos extraños y los efectos de parpadeo que plagaban los modelos de vídeo anteriores y lograr una mayor coherencia en las escenas.
El modelo también se beneficia de una mayor adherencia a las indicaciones, lo que le permite interpretar las instrucciones del usuario con mayor precisión. Esto significa que los creadores podrán alimentarlo con descripciones más complejas. Por ejemplo, alguien podría decir “agrega dragones rojos, azules y verdes que escupen fuego sin afectar la iluminación original”, y Lucy 2 lo hará sin cometer errores.
Un efecto mágico en el marketing
Las pruebas comparativas muestran que la latencia de Lucy 2 mide menos de 100 milisegundos por fotograma, lo que la hace viable para aplicaciones de transmisión en vivo, y esto será de gran interés para los especialistas en marketing que ya utilizan videos generados por IA.
Por ejemplo, tiene implicaciones para las colaboraciones de transmisión en vivo con personas influyentes en las redes sociales y otros creadores de contenido. Utilizando las herramientas Delulu Stream de Decart, que ahora funcionan con Lucy 2, los transmisores en vivo en plataformas como Twitch y TikTok pueden mejorar sus transmisiones de video de varias maneras, como ajustando dinámicamente su apariencia para parecerse a cualquier personaje en cualquier mundo.
Alternativamente, los streamers pueden aplicar filtros temáticos que responden mejor a los comandos del chat en tiempo real. Y podrán insertar instantáneamente productos de marcas en sus videos en cualquier momento para mostrar diferentes formas y situaciones en las que pueden usarlos.
En lugar de depender de personas influyentes reconocidas, las marcas pueden utilizar Lucy 2 para crear un embajador virtual que las represente exclusivamente. Podrían construir “vidas” enteras para estos embajadores digitales, mostrándolos en varias partes del mundo y realizando diferentes actividades para construir conexiones más emocionales con los consumidores.
Una ventaja de los embajadores de marca virtuales es que no necesitan dormir y trabajan las 24 horas del día. Las marcas incluso pueden transmitir en vivo continuamente, las 24 horas del día, respondiendo consultas y brindando consejos sobre cómo usar los productos sin fatiga.
El liderazgo de Decart también ve un gran potencial para Lucy 2 cuando se trata de permitir pruebas virtuales más realistas para el comercio electrónico. Algunas tiendas digitales ya emplean tecnología de realidad aumentada para ayudar a los usuarios a visualizar cómo se verían con una chaqueta nueva, o si un sofá nuevo combinará o no con la decoración de su hogar, pero Lucy 2 llevará el realismo de estas experiencias a otro nivel.
Gracias a la coherencia superior de Lucy 2, las pruebas virtuales se distinguirán mucho menos de probarse una camisa nueva o un par de jeans en una tienda física, y también serán más dinámicas. Un comprador no sólo podría probarse un par de Levi’s nuevos, sino también visualizarse caminando con ellos en un parque o en un centro comercial. Lucy 2 modelará el movimiento de la persona con precisión mientras sintetiza cómo debe reaccionar la tela al movimiento para que parezca como si realmente la estuviera usando.
Otra opción es la colocación de productos en vivo. Debido a que Lucy 2 puede editar transmisiones en vivo sobre la marcha y personalizarlas para cada espectador, las marcas podrán insertar diferentes productos en el mismo video para millones de espectadores diferentes, según el compromiso anterior de cada miembro de la audiencia con las páginas de productos.
Una nueva era para los modelos mundiales
El director ejecutivo de Decart, Dean Leitersdorf, describió el lanzamiento de Lucy 2 como el «momento GPT-3 para los modelos mundiales». Dijo que es la primera vez que un modelo mundial puede funcionar en vivo, en tiempo real, sin comprometer la calidad del vídeo. «El cambio no sólo mejora el vídeo, sino que crea mercados completamente nuevos, desde medios en vivo y entretenimiento hasta pruebas virtuales, juegos y robótica», afirmó. «Estamos seguros de que estos mercados se medirán en miles de millones».
Como beneficio adicional, Lucy 2 también es extremadamente flexible y asequible. Decart dijo que el modelo ha sido optimizado para ejecutarse en GPU de Nvidia y en la infraestructura de nube de Amazon y Google, brindando a los clientes múltiples opciones de implementación.
Las optimizaciones de eficiencia energética prometen reducir drásticamente el coste del vídeo generado por IA; Decart afirma que la generación sostenida de vídeo en tiempo real costará alrededor de 3 dólares por hora.
