Análisis a fondo del modelo
El lip sync nativo de Kling 3.0 Omni, explicado
«Lip sync» solía significar una segunda herramienta: generabas un vídeo y luego pasabas la boca por un modelo aparte para que cuadrara con una pista de audio. Kling 3.0 Omni, el modelo de vídeo omnimodal de Kuaishou, lo hace en una sola pasada: escribes en el prompt lo que tiene que decir el personaje y el modelo genera la voz y el movimiento de la boca que la acompaña, al mismo tiempo que todo lo demás de la toma. Suena a una distinción menor, pero cambia lo limpio que queda el resultado y cuánto tienes que retocar después. Aquí te explico qué significa de verdad el lip sync nativo, las capacidades de Kling 3.0 Omni que lo hacen útil y cómo hacer un clip que habla en Renoise.
Qué significa lip sync «nativo»
Un pipeline de lip sync por posprocesado trabaja en dos etapas. Primero, un modelo de vídeo genera el metraje; luego, un segundo modelo toma un clip de audio y vuelve a deformar la zona de la boca para que case con los fonemas. Como la boca se edita después, las costuras se notan: la parte inferior de la cara puede parecer pegada, el movimiento de la mandíbula y las mejillas no siempre acompaña, y los tiempos se desajustan en el habla rápida.
El lip sync nativo integra eso en la propia generación. El modelo lee la frase que escribes en el prompt, junto a las imágenes de referencia, y genera a la vez la voz y el movimiento de boca, mandíbula y rostro que encaja con ella como parte del mismo render, no como una capa de edición encima. Como toda la cara se genera junta, la boca se mueve con las mejillas, la expresión cuadra con la frase y los tiempos quedan fijados a la voz desde el primer fotograma.
Un matiz importante: Kling 3.0 Omni no acepta audio de referencia. No puedes subir tu propia locución ni una canción para que la boca la siga; la voz la crea el modelo a partir de tu texto.
Esa es la diferencia que importa: con un paso de posprocesado estás corrigiendo un vídeo ya terminado; con el lip sync nativo el habla viene integrada.
Especificaciones de Kling 3.0 Omni
Kling 3.0 Omni está construido como un modelo omnimodal: el lip sync es una capacidad entre varias que funcionan juntas. Esto es lo que hace, tal como está integrado en Renoise:
| Capacidad | Kling 3.0 Omni |
|---|---|
| Duración del clip | 3–15s (≤10s cuando se incluye un vídeo de referencia) |
| Resolución | 720p / 1080p |
| Relaciones de aspecto | 3 (16:9 / 9:16 / 1:1) |
| Entradas | Texto, imágenes de referencia, vídeo de referencia, primer/último fotograma |
| Audio de referencia | No admite |
| Lip sync | Nativo: genera la voz a partir de la frase del prompt (se desactiva con un vídeo de referencia) |
| Consistencia multisujeto | Sí, sigue a varios sujetos en una misma toma |
| Tomas por generación | Un clip; la secuencia se arma toma a toma |
| Física | Simulación de dinámicas físicas |
| Referencias | Hasta 7 imágenes (≤4 con un vídeo de referencia) + 1 vídeo |
Vale la pena desglosar algunas de estas, porque son las que hacen que el lip sync sirva para algo más que una sola cabeza que habla.
Consistencia multisujeto
Una escena de diálogo rara vez es una sola cara. Kling 3.0 Omni puede mantener varios sujetos consistentes dentro de una toma —dos personas en un diálogo, un presentador junto a un producto— de modo que la boca correcta se mueve con la frase correcta y cada sujeto conserva su aspecto a lo largo del clip. Como mejora a nivel de modelo, es mucho más ajustado que en modelos antiguos, aunque, como cualquier modelo de vídeo con IA, todavía puede desviarse, así que conviene revisar el resultado en lugar de dar por hecho un encaje perfecto.
Una toma por generación
La app de Kling de Kuaishou tiene un modo storyboard de varias tomas, pero en Renoise cada generación de Kling 3.0 Omni es un solo clip. Para una escena breve de diálogo o un anuncio de varios momentos, genera cada toma con las mismas imágenes de referencia para que el hablante conserve su aspecto, y ordena los clips en el Canvas. O pídele a Renoise Agent que planifique las tomas y una los clips por ti.
Entradas multimodales y dinámicas físicas
El modelo combina varias entradas —texto, imágenes de referencia, un vídeo de referencia o el primer y el último fotograma— y genera el audio él mismo, que es justo por lo que el lip sync es nativo: la voz y la boca salen del mismo render. Encima de eso, su simulación de dinámicas físicas mantiene el movimiento verosímil (pelo, tela, gestos), de modo que un sujeto que habla sigue moviéndose como uno real y no como una cara flotante.
Manejo de referencias
Puedes adjuntar hasta 7 imágenes de referencia para anclar un personaje, un estilo o una escena. Si además aportas un vídeo de referencia (un clip de vídeo), el cupo de imágenes baja a 4 y la duración del clip se limita a 10 segundos: un trueque deliberado, porque un vídeo de referencia ya carga con mucha información de movimiento e identidad.
Cómo hacer un clip de lip sync en Renoise
En el Canvas de Renoise, un clip que habla son unos pocos pasos:
- Abre la herramienta de vídeo y elige Kling 3.0 Omni como modelo (o ve directo a
/videos?model=kling-3.0-omni). - Añade tu sujeto. Sube una imagen de referencia del personaje o la escena, o escribe un prompt para generar uno. Puedes adjuntar hasta 7 imágenes de referencia para fijar el aspecto.
- Escribe el prompt con la frase: describe la escena, la cámara y la interpretación (tono, energía) y escribe lo que el sujeto tiene que decir. El modelo genera la voz y las formas de la boca a partir de ese texto; no hay que subir audio.
- Fija la duración y la relación de aspecto (3–15s; elige 9:16 para Reels/TikTok, 16:9 para YouTube). Si además añades un vídeo de referencia, mantén el clip en 10 segundos o menos, y ten en cuenta que con él el audio nativo se desactiva, así que no habrá voz ni lip sync.
- Genera y luego revisa el sync y los sujetos antes de exportar. La exportación sin marca de agua está disponible en los planes de pago.
Para una sola foto fija que habla, mira la guía de foto que habla con IA; para sincronizar con una persona real y autorizada, mira el lip sync estilo famoso; y para movimiento al ritmo de la música, la guía de vídeo de baile con IA.
¿Quieres que el personaje hable o cante con tu propia grabación? Eso no lo hace Kling 3.0 Omni. Dale a Renoise Agent un retrato y tu audio (mp3 o wav, de 4 a 300 segundos, con voz hablada o cantada; la música solo instrumental se rechaza): usa OmniHuman 2.0, de ByteDance, la boca sigue tu grabación y el vídeo dura lo mismo que el audio, en 720p.
Lip sync de personas reales
Si quieres que la imagen de una persona real hable en cámara, solo puedes usar caras reales autorizadas: la tuya o la de alguien que te haya dado su consentimiento por escrito. No se permiten celebridades, figuras públicas ni menores, y se aplican las leyes locales. Con una cara que tienes derecho a usar, Kling 3.0 Omni la hace hablar con la voz que genera a partir de tu frase, como a cualquier otro sujeto.
Consejos para resultados limpios
- Mantén los clips cortos con un vídeo de referencia. Con un vídeo de referencia adjunto, te limitas a 10 segundos y 4 imágenes de referencia, y el audio nativo se apaga: planifica la toma en torno a eso en lugar de pelearte con ello.
- Ajusta la relación de aspecto a la plataforma desde el principio (9:16 vertical, 16:9 horizontal, 1:1 cuadrado) para no recortar una cara después.
- Escribe la frase exacta. La voz y el lip sync salen del texto del prompt, así que pon entre comillas lo que debe decir el personaje y ajusta su longitud a la duración del clip.
- Repite las referencias en cada toma. Cuando necesites varias tomas del mismo hablante, adjunta las mismas imágenes de referencia a cada generación para que la cara se mantenga de un clip a otro.
- ¿Necesitas en cambio tomas más largas que generen audio? Seedance 2.0 (ByteDance) también está activo en Renoise y genera su propio audio. Y si lo que quieres es sincronizar la boca con una grabación concreta, ese trabajo es de OmniHuman 2.0 a través de Renoise Agent.