Análise detalhada do modelo
O lip sync nativo do Kling 3.0 Omni, explicado
"Lip sync" costumava significar uma segunda ferramenta: você gerava um vídeo e depois passava a boca por um modelo separado para casar com uma trilha de áudio. O Kling 3.0 Omni, o modelo de vídeo omnimodal da Kuaishou, faz isso em uma única passagem — você escreve a fala no prompt, e o modelo gera a voz e o movimento da boca juntos, ao mesmo tempo que todo o resto da tomada. Parece uma distinção pequena, mas muda o quanto o resultado fica limpo e quanto você mexe nele depois. Aqui está o que o lip sync nativo realmente significa, os recursos do Kling 3.0 Omni que o tornam útil e como fazer um clipe que fala no Renoise.
O que significa lip sync "nativo"
Um pipeline de lip sync por pós-processamento trabalha em duas etapas. Primeiro um modelo de vídeo gera as imagens; depois um segundo modelo pega um clipe de áudio e redeforma a região da boca para casar com os fonemas. Como a boca é editada depois, as emendas aparecem: a parte de baixo do rosto pode parecer colada, o movimento do maxilar e das bochechas nem sempre acompanha, e o timing desliza na fala rápida.
O lip sync nativo dobra isso para dentro da própria geração. Você escreve no prompt o que o personagem diz, e o modelo gera a voz e o movimento de boca, maxilar e rosto como parte do mesmo render — não como uma camada de edição por cima. Como a fala e o rosto nascem juntos, a boca se move com as bochechas, a expressão combina com a fala e o timing fica travado desde o primeiro frame.
Isso também marca o limite: o Kling 3.0 Omni não recebe um áudio seu. A voz é sempre a que o modelo cria a partir do texto — o áudio nativo vem ligado por padrão e desliga quando você anexa um vídeo de referência. Para fazer um rosto falar ou cantar em cima de uma gravação sua, o Renoise tem outro caminho, explicado mais abaixo.
Essa é a diferença que importa: com uma etapa de pós você está corrigindo um vídeo já pronto; com o lip sync nativo a fala já vem embutida.
Especificações do Kling 3.0 Omni
O Kling 3.0 Omni foi construído como um modelo omnimodal — o lip sync é um recurso entre vários que trabalham juntos. Veja o que ele faz, como está integrado no Renoise:
| Recurso | Kling 3.0 Omni |
|---|---|
| Duração do clipe | 3–15s (≤10s quando há um vídeo de referência) |
| Resolução | 720p / 1080p |
| Proporções | 3 (16:9 / 9:16 / 1:1) |
| Modalidades de entrada | Texto, imagens de referência, vídeo de referência, primeiro/último quadro |
| Lip sync | Nativo: gera a voz a partir da fala escrita no prompt |
| Áudio próprio | Não aceita — a voz é sempre gerada pelo modelo |
| Consistência multissujeito | Sim — acompanha vários sujeitos em uma mesma tomada |
| Tomadas por geração | Um clipe; a sequência é montada tomada a tomada |
| Física | Simulação de dinâmicas físicas |
| Referências | Até 7 imagens (≤4 com um vídeo de referência) + 1 vídeo |
Vale desdobrar algumas delas, porque são o que faz o lip sync servir para além de uma única cabeça que fala.
Consistência multissujeito
Uma cena de diálogo raramente é um rosto só. O Kling 3.0 Omni consegue manter vários sujeitos consistentes dentro de uma tomada — duas pessoas em um diálogo, um apresentador ao lado de um produto — de modo que a boca certa se mexe na fala certa e cada sujeito mantém a aparência ao longo do clipe. Como melhoria em nível de modelo, isso é bem mais firme do que em modelos antigos, embora, como qualquer modelo de vídeo com IA, ainda possa derivar, então vale revisar o resultado em vez de presumir um travamento perfeito.
Uma tomada por geração
O app Kling da Kuaishou tem um modo storyboard com várias tomadas, mas no Renoise cada geração do Kling 3.0 Omni é um clipe só. Para uma cena curta de diálogo ou um anúncio de vários momentos, gere cada tomada com as mesmas imagens de referência para o locutor manter a aparência e organize os clipes no Canvas — ou peça ao Renoise Agent para planejar as tomadas e juntar os clipes para você.
Várias modalidades de entrada e dinâmicas físicas
O modelo combina várias modalidades de entrada — texto, imagens de referência, um vídeo de referência ou o primeiro/último quadro — e cria o áudio por conta própria, que é exatamente por que o lip sync nativo funciona: a fala sai da mesma geração que a imagem. Além disso, sua simulação de dinâmicas físicas mantém o movimento plausível (cabelo, tecido, gestos), de modo que um sujeito que fala ainda se move como um de verdade, e não como um rosto flutuante.
Manejo de referências
Você pode anexar até 7 imagens de referência para ancorar um personagem, estilo ou cena. Se também fornecer um vídeo de referência (um clipe de vídeo), a cota de imagens cai para 4 e a duração do clipe é limitada a 10 segundos — uma troca deliberada, porque um vídeo de referência já carrega muita informação de movimento e identidade.
Como fazer um clipe de lip sync no Renoise
No Canvas do Renoise, um clipe que fala são poucos passos:
- Abra a ferramenta de vídeo e escolha o Kling 3.0 Omni como modelo (ou vá direto para
/videos?model=kling-3.0-omni). - Adicione seu sujeito. Envie uma imagem de referência do personagem ou da cena, ou escreva um prompt para gerar um. Você pode anexar até 7 imagens de referência para travar a aparência.
- Escreva o prompt com a fala: descreva a cena, a câmera e a interpretação (tom, energia) e escreva entre aspas o que o sujeito diz. Não descreva os formatos da boca — o modelo gera a voz e cuida disso sozinho.
- Defina a duração e a proporção (3–15s; escolha 9:16 para Reels/TikTok, 16:9 para YouTube). Não anexe um vídeo de referência a uma tomada com fala: com ele, o áudio nativo desliga e o clipe fica limitado a 10 segundos.
- Gere e depois revise o sync e os sujeitos antes de exportar. A exportação sem marca d'água está disponível nos planos pagos.
Para uma única foto parada que fala, veja o guia de foto que fala com IA; para sincronizar com uma pessoa real e autorizada, veja o lip sync estilo celebridade; e para movimento guiado pela música, o guia de vídeo de dança com IA.
Lip sync com a sua própria gravação
Se a boca precisa seguir uma locução gravada por você ou uma música cantada, o Kling 3.0 Omni não é o caminho. Envie um retrato e o áudio ao Renoise Agent: ele usa o OmniHuman 2.0, da ByteDance, que recebe uma imagem de uma pessoa e uma faixa de voz em mp3 ou wav, de 4 a 300 segundos, e faz a boca acompanhar a gravação. O vídeo sai em 720p, com a mesma duração do áudio. A faixa precisa ter voz, falada ou cantada — música só instrumental é recusada.
Lip sync de pessoas reais
Se você quer a imagem de uma pessoa real falando em câmera, use só rostos reais autorizados: o seu, ou um com consentimento por escrito. Celebridades, figuras públicas e menores não são permitidos, e valem as leis locais. Fora isso, esse rosto fala como qualquer outro sujeito, seja com a voz gerada pelo Kling 3.0 Omni, seja com a sua gravação pelo OmniHuman 2.0.
Dicas para resultados limpos
- Deixe o vídeo de referência para tomadas sem fala. Com um vídeo de referência anexado, você fica limitado a 10 segundos e 4 imagens de referência, e o áudio nativo desliga — planeje a tomada em torno disso em vez de brigar com o limite.
- Ajuste a proporção à plataforma logo de início (9:16 vertical, 16:9 horizontal, 1:1 quadrado) para não recortar um rosto depois.
- Escreva falas curtas e claras. O modelo cria a voz a partir do texto; frases curtas, bem pontuadas e com o tom indicado no prompt produzem um timing de boca mais firme.
- Repita as referências em cada tomada. Quando precisar de várias tomadas do mesmo locutor, anexe as mesmas imagens de referência a cada geração para o rosto se manter igual de um clipe para o outro.
- Precisa de tomadas mais longas que geram áudio? O Seedance 2.0 (ByteDance) também está ativo no Renoise e gera o próprio áudio — uma boa alternativa quando o foco não é a fala sincronizada.