Lumiere: Um Avanço na Geração de Vídeo por IA
Desde o lançamento do DALL-E 2 no final de 2022, os geradores de texto para imagem têm sido muito populares, com diversos concorrentes dignos entrando no mercado. Agora, mais de um ano depois, estamos testemunhando o surgimento de uma nova tecnologia: a geração de vídeo por IA.
Na última terça-feira, a Google Research divulgou um artigo de pesquisa sobre o Lumiere, um modelo de difusão de texto para vídeo que pode criar vídeos altamente realistas a partir de prompts de texto e outras imagens.
Desafios Superados na Síntese de Vídeo
Conforme o artigo, o modelo enfrenta um desafio significativo na síntese de geração de vídeo, que consiste em criar movimentos “realistas, diversos e coerentes”.
Modelos de geração de vídeo geralmente produzem vídeos irregulares, mas a abordagem da Google proporciona uma experiência de visualização mais suave.
Arquitetura Inovadora: Space-Time U-Net
Os vídeos gerados não apenas são suaves, mas também parecem hiper-realistas, representando uma melhoria significativa em relação a outros modelos. o Lumiere consegue isso por meio de sua arquitetura Space-Time U-Net, que gera a duração temporal de um vídeo de uma vez através de uma única passagem.
Essa abordagem difere de outros modelos existentes, que sintetizam keyframes distantes, tornando a consistência do vídeo desafiadora de alcançar, segundo o artigo.
Funcionalidades Versáteis do Lumiere
O modelo pode gerar vídeos a partir de texto e pode editar vídeos existentes por meio de várias estilizações visuais. Que modificam um vídeo para refletir um prompt específico, criam cinemagrafias que animam uma área específica de uma foto e realizam inpainting, preenchendo áreas ausentes ou danificadas no vídeo.
Desempenho Superior e Demonstração
Em comparação com outros modelos proeminentes de difusão de texto para vídeo, incluindo ImagenVideo, Pika, ZeroScope e Gen2, o modelo da Google superou em todas as categorias. Incluindo qualidade de texto para vídeo, alinhamento de texto para vídeo e qualidade de imagem para vídeo.
Embora ele não tenha sido lançado ainda! Você pode estar visitar o site do Lumiere. Para aprender mais e assistir às demonstrações das diversas tarefas que o modelo pode realizar. Mas o futuro da geração de vídeo por IA parece promissor com avanços como o Lumiere.
A humanidade cada vez mais atribui tarefas e autonomia nas máquinas, até um ponto em que… Simplificando argumentos (A revolta das máquinas, morte de todos os humanos, utopia das máquinas)