モデル徹底解説
Kling 3.0 Omni のネイティブリップシンク解説
かつて「リップシンク」といえば、別のツールをもう一つ使うことを意味していました。まず動画を生成し、それから口の部分を別のモデルに通して音声トラックに合わせる、という流れです。Kuaishou のオムニモーダル動画モデル Kling 3.0 Omni は、それを一度の生成のなかでこなします——プロンプトに書いたセリフから声を生成し、その声に合う口の動きも、ショット内のほかのすべてと同時に出力します。ささいな違いに聞こえるかもしれませんが、これによって仕上がりのきれいさも、後からどれだけ手を加えるかも変わってきます。ここでは、ネイティブリップシンクが実際に何を意味するのか、それを使えるものにする Kling 3.0 Omni の機能、そして Renoise で話す動画を作る方法を解説します。
「ネイティブ」リップシンクとは何か
後処理型のリップシンクのパイプラインは2段階で動きます。まず動画モデルが映像を生成し、次に2つ目のモデルが音声クリップを受け取って、口元の領域を音素に合うよう再ワープします。口が後から編集されるため、つなぎ目が見えてしまいます——下顔面が貼り付けたように見え、あごや頬の動きが常には追従せず、早口になるとタイミングがずれていきます。
ネイティブリップシンクは、それを生成そのものに織り込みます。モデルはプロンプトに書かれたセリフから声そのものを生成し、その声に合う口・あご・表情の動きを、同じレンダリングの一部として生成します——仕上がった動画の上に重ねる編集としてではありません。声と顔全体が一緒に生成されるため、口は頬とともに動き、表情はセリフに合い、タイミングは最初のフレームから声にロックされます。
これこそが効いてくる違いです。後処理工程では、できあがった動画を修正することになります。ネイティブリップシンクでは、「話している」ことが最初から焼き込まれているのです。
その裏返しとして、Kling 3.0 Omni には音声ファイルを添付できません。声もモデルが生成するので、手持ちのナレーションや歌に口を合わせる用途には向きません。その場合の方法は後半で紹介します。
Kling 3.0 Omni のスペック
Kling 3.0 Omni はオムニモーダルモデルとして作られています——リップシンクは、連携して働くいくつかの能力のうちの一つにすぎません。Renoise に統合された状態での機能は次のとおりです。
| 機能 | Kling 3.0 Omni |
|---|---|
| クリップの長さ | 3–15s（参照動画を含む場合は ≤10s） |
| 解像度 | 720p / 1080p |
| アスペクト比 | 3種類（16:9 / 9:16 / 1:1） |
| 入力 | テキスト、参照画像、参照動画、最初／最後のフレーム（音声ファイルは非対応） |
| リップシンク | ネイティブ（プロンプトのセリフから声と口の動きを生成） |
| マルチ被写体の一貫性 | 対応——1ショット内で複数の被写体を追跡 |
| 1回の生成 | 1クリップ（シーケンスは1ショットずつ組み立てる） |
| 物理 | 物理ダイナミクスのシミュレーション |
| 参照素材 | 最大7枚の画像（参照動画ありの場合は ≤4枚）+ 動画1本 |
このうちいくつかは掘り下げる価値があります。リップシンクの使い道を、単なる話す顔1つ以上に広げてくれるのがこれらだからです。
マルチ被写体の一貫性
会話シーンが顔1つで済むことはまれです。Kling 3.0 Omni は、1ショット内で複数の被写体の一貫性を保つことができます——会話する2人、製品の隣に立つプレゼンター——だから、正しいセリフに正しい口が動き、各被写体はクリップ全体で見た目を保ちます。モデル層の改善として、これは旧来のモデルよりはるかにかっちりしていますが、どのAI動画モデルとも同じく依然としてずれることはあります。完璧にロックされていると決めてかからず、結果を見直す価値があります。
1回の生成で1ショット
Kuaishou 自身の Kling アプリにはマルチショットのストーリーボードモードがありますが、Renoise では Kling 3.0 Omni の1回の生成で作られるのは1クリップです。短い会話シーンや、いくつものビートがある広告を作るときは、同じ参照画像を使って1ショットずつ生成し、話者の見た目をそろえたまま Canvas 上で並べましょう。ショットの計画からクリップのつなぎまでを Renoise Agent に任せることもできます。
複数の入力と物理ダイナミクス
モデルはテキスト、参照画像、参照動画、最初／最後のフレームを組み合わせて受け付けます。声は入力ではなく出力の一部です——セリフを書けば、モデルが声と口の動きを一緒に生成します。そのうえ、物理ダイナミクスのシミュレーションが動きをもっともらしく保つので（髪、布、ジェスチャー）、話す被写体は浮いた顔ではなく、本物のように動きます。
参照素材の扱い
キャラクター・スタイル・シーンを固定するために、最大 7枚の参照画像を添付できます。さらに参照動画（動画クリップ1本）も与える場合、画像の枠は 4枚に減り、クリップの長さは 10秒で頭打ちになります——参照動画はすでに多くの動きとアイデンティティ情報を運んでいるため、これは意図的なトレードオフです。また参照動画を添付するとネイティブ音声がオフになり、声は生成されません。セリフを喋らせたいショットは、参照画像だけで組み立てましょう。
Renoise でリップシンク動画を作る方法
Renoise Canvas では、話すクリップは数ステップでできます。
- 動画ツールを開き、モデルに Kling 3.0 Omni を選ぶ（または直接
/videos?model=kling-3.0-omniへ）。 - 被写体を追加する。 キャラクターやシーンの参照画像をアップロードするか、プロンプトを書いて生成します。見た目を固定するために、参照画像を最大7枚添付できます。
- セリフとシーンをプロンプトに書く。 被写体に話させたい言葉と、シーン、カメラ、話し方（トーン、勢い）を描写します。口の形は書かなくてかまいません——モデルがセリフから声を生成し、それに合わせて口を動かします。
- 長さとアスペクト比を設定する（3–15s；Reels/TikTok には 9:16、YouTube には 16:9）。参照動画も加える場合は、クリップを10秒以内に収めてください（このときネイティブ音声はオフになります）。
- 生成し、書き出す前にリップシンクと被写体を見直す。透かしなしの書き出しは有料プランで利用できます。
1枚の静止写真をしゃべらせたいなら AI トーキングフォトガイド を、許諾済みの実在人物に合わせたいなら セレブ風リップシンク を、音楽駆動の動きには AI ダンス動画ガイド をご覧ください。
自分の録音や歌に合わせたいとき
Kling 3.0 Omni は音声ファイルを受け付けないので、手持ちのナレーションや歌に口を合わせるには別のモデルを使います。Renoise Agent に人物写真1枚と録音（mp3 / wav、4〜300秒）を渡すと、ByteDance の OmniHuman 2.0 が録音どおりに口を動かします。動画の長さは録音と同じで、出力は720pです。話し声でも歌声でも使えますが、伴奏だけの音源には対応していません。
実在人物のリップシンク
実在する人物の肖像をカメラの前で話させられるのは、その肖像の使用権を持つ場合——あなた自身の顔か、書面で同意を得た人の顔——に限られます。これは同意の問題であって、創作上の制限ではありません。使用権のある顔なら、ほかの被写体と同じように、Kling 3.0 Omni ではセリフから、OmniHuman 2.0 ではあなたの録音から喋らせられます。ただし顔が拒否される場合もあり、著名人・公人・未成年者は使用できません。現地の法律も適用されます。
きれいな仕上がりのためのヒント
- 参照動画を使うときはクリップを短く。 参照動画を添付すると、10秒・画像参照4枚に制限されます——それと張り合うのではなく、その上限に合わせてショットを設計しましょう。
- アスペクト比は最初にプラットフォームに合わせる（9:16縦、16:9横、1:1スクエア）。後から顔を切り直さなくて済みます。
- セリフのあるショットに参照動画は使わない。 参照動画を添付するとネイティブ音声がオフになり、声が生成されません。
- ショットをまたいで参照を使い回す。 同じ話者の複数ショットが必要なときは、どの生成にも同じ参照画像を添付しましょう。クリップが変わっても顔がそろいます。
- ほかのモデルも試したい？ Seedance 2.0（ByteDance）も Renoise で利用でき、音声付きのショットを生成できます。