ネイティブリップシンク — 編集不要
Kling 3.0 Omni はセリフの声と口の動きを1回の生成でまとめて作ります。手動のキーフレーム設定や後編集は一切不要です。
顔写真とセリフを用意するだけ — Kling 3.0 Omni が声も口の動きも生成します。手持ちの歌や録音に合わせるなら Renoise Agent へ。
Renoise Canvas に顔写真をアップロードし、喋らせたいセリフとパフォーマンスの様子をプロンプトに書いて、Kling 3.0 Omni でレンダリングするだけです。モデルがセリフから声を生成し、口の動きまで1ステップで同期させます。手持ちの歌や録音に口を合わせたい場合は、Renoise Agent に顔写真と音声を渡してください。OmniHuman 2.0 が録音どおりに口を動かします。公人・有名人の顔は使用できません。実在の顔を使えるのは、自分の顔か書面で同意を得た人の顔に限られます。
歌うのではなく、スクリプトを話す写真を作りたい場合は AI トーキングフォトガイド
Kling 3.0 Omni のネイティブリップシンク — 始める前に知っておくべき重要事項。
Kling 3.0 Omni はセリフの声と口の動きを1回の生成でまとめて作ります。手動のキーフレーム設定や後編集は一切不要です。
1回の生成で3〜15秒のクリップを作成できます。生成した動画クリップは、Renoise内で直接編集・トリミングできます。
Renoise Agent に顔写真と音声(mp3 / wav、4〜300秒)を渡すと、OmniHuman 2.0 が話し声にも歌声にも口を合わせます。伴奏だけの音源は使えません。
公人・有名人・未成年者の顔は使用できません。実在の顔は、自分の顔か書面で同意を得た人の顔に限られます。
顔写真とセリフから、同期したパフォーマンス動画まで — すべて Renoise Canvas の中で完結します。ここではオリジナルのフィクションキャラクターでデモンストレーションします。手持ちの歌や録音に合わせる場合は、この手順ではなく Renoise Agent を使います。

正面を向いた顔写真を Canvas にドラッグ&ドロップします。実在する人物なら、自分の顔か書面で同意を得た人の顔を使ってください。

喋らせたいセリフと、場面の設定・感情・スタイルを書きます — 例:「ネオンのステージに立つ司会者が『今夜は来てくれてありがとう!』と客席に呼びかける、エネルギッシュな雰囲気、ワイドショット」

モデルメニューから Kling 3.0 Omni を選択します。セリフの声もリップシンクもモデルが生成します。生成後、同期済みクリップをエクスポートします。
Renoise で作成したオリジナルフィクションキャラクターのサンプルです。同じ手順で、肖像の使用権を持つ実在の顔にも使えます。
ネオン照明のステージで音楽に合わせて歌うオリジナル3Dシンガーキャラクター
クリームのジャケットを着たオリジナルフィクションプレゼンターがスタジオでスピーチを届ける
キッチンで口の動きを同期させながらナレーションするオリジナルフィクションシェフキャラクター
炎が揺れる幻想的な雰囲気の中でセリフを届けるオリジナルダークファンタジー戦士キャラクター
リップシンクとは、音声を口の形に対応させる技術です。話し言葉や歌声に含まれる個々の音(音素)には、それぞれ対応する口の形(ビジーム)があります。Kuaishou が開発した Kling 3.0 Omni は、プロンプトに書かれたセリフから声を生成し、その音素に合わせて顎・唇・頬をフレームごとに動かします。声と口の動きが1回の生成で一緒に作られるので、手動アニメーションや後処理は不要です。手持ちの歌や録音に合わせたいときは、ByteDance の OmniHuman 2.0 を Renoise Agent から使います。録音に合わせて口の動きを付け、動画の長さは録音と同じになります。
参照する顔写真がアイデンティティのアンカーになります。モデルはクリップ全体を通じて顔の同一性を保ちながら、口の動きと表情だけを変化させます。静止した肖像写真が歌うシンガーや話すプレゼンターになれるのはこのためです — 顔は変わらず、口と表情だけが動きます。
フィクションキャラクター、イラストのアバター、AI 生成の顔に対しては、このパイプラインに追加手順はありません。しかし実在する識別可能な人物の顔を使えるのは、その肖像の使用権を持つ場合 — 自分自身の顔か、本人から書面で同意を得た場合 — に限られます。公人・有名人・未成年者の顔は使用できず、現地の法律も適用されます。
つまり、写真をアップロードして実在するセレブのリップシンク動画を Renoise で生成することはできません。一方、自分自身の顔、書面で同意を得た被写体、または完全にオリジナルのフィクションキャラクターであれば生成できます。このページのデモ例はすべて、パイプラインを示すためにオリジナルのフィクションキャラクターを使用しています。
1つのプランでKling 3.0 Omniとその他すべての動画モデルが使えます。
初めてのAI制作に
月額
GPT Image 2 の生成 約 150 回分
Seedance 2.0 の動画 約 60 本分
エージェントがアイデアから完成動画まで仕上げます
Starter と Standard:Director Mode の制作は使用量に応じてクレジットを消費します。Advanced:無料。
キュー待ちはありません。有料生成を好きなだけ同時に開始できます。
Renoise.aiで生成したコンテンツは、利用規約に従って商用利用できます
毎週の継続制作に
月額
GPT Image 2 の生成 約 450 回分
Seedance 2.0 の動画 約 180 本分
エージェントがアイデアから完成動画まで仕上げます
Starter と Standard:Director Mode の制作は使用量に応じてクレジットを消費します。Advanced:無料。
キュー待ちはありません。有料生成を好きなだけ同時に開始できます。
Renoise Agent は大手 AI ラボの最先端モデルで動作し、ショットの構成、プロンプトの作成、ショットごとに最適なモデルの選択を行います。エージェントとのチャットはすべてのプランで無料です。
Renoise.aiで生成したコンテンツは、利用規約に従って商用利用できます
プロ規模の制作に
月額
GPT Image 2 の生成 約 1,750 回分
Seedance 2.0 の動画 約 700 本分
エージェントがアイデアから完成動画まで仕上げます
Starter と Standard:Director Mode の制作は使用量に応じてクレジットを消費します。Advanced:無料。
キュー待ちはありません。有料生成を好きなだけ同時に開始できます。
Renoise Agent は大手 AI ラボの最先端モデルで動作し、ショットの構成、プロンプトの作成、ショットごとに最適なモデルの選択を行います。エージェントとのチャットはすべてのプランで無料です。
Renoise.aiで生成したコンテンツは、利用規約に従って商用利用できます
初めてのAI制作に
月あたり・年払い
$72 お得(月払いとの比較)
GPT Image 2 の生成 約 150 回分
Seedance 2.0 の動画 約 60 本分
エージェントがアイデアから完成動画まで仕上げます
Starter と Standard:Director Mode の制作は使用量に応じてクレジットを消費します。Advanced:無料。
キュー待ちはありません。有料生成を好きなだけ同時に開始できます。
Renoise.aiで生成したコンテンツは、利用規約に従って商用利用できます
毎週の継続制作に
月あたり・年払い
$216 お得(月払いとの比較)
GPT Image 2 の生成 約 450 回分
Seedance 2.0 の動画 約 180 本分
エージェントがアイデアから完成動画まで仕上げます
Starter と Standard:Director Mode の制作は使用量に応じてクレジットを消費します。Advanced:無料。
キュー待ちはありません。有料生成を好きなだけ同時に開始できます。
Renoise Agent は大手 AI ラボの最先端モデルで動作し、ショットの構成、プロンプトの作成、ショットごとに最適なモデルの選択を行います。エージェントとのチャットはすべてのプランで無料です。
Renoise.aiで生成したコンテンツは、利用規約に従って商用利用できます
プロ規模の制作に
月あたり・年払い
$720 お得(月払いとの比較)
GPT Image 2 の生成 約 1,750 回分
Seedance 2.0 の動画 約 700 本分
エージェントがアイデアから完成動画まで仕上げます
Starter と Standard:Director Mode の制作は使用量に応じてクレジットを消費します。Advanced:無料。
キュー待ちはありません。有料生成を好きなだけ同時に開始できます。
Renoise Agent は大手 AI ラボの最先端モデルで動作し、ショットの構成、プロンプトの作成、ショットごとに最適なモデルの選択を行います。エージェントとのチャットはすべてのプランで無料です。
Renoise.aiで生成したコンテンツは、利用規約に従って商用利用できます
いいえ。有名人・公人・未成年者の顔は使用できません。使えるのは、自分自身の顔、書面で同意を得た被写体、または完全にオリジナルのフィクションキャラクターです。実在の顔は拒否される場合もあり、現地の法律が適用されます。
Kling 3.0 Omni には音声ファイルを添付できません。セリフをプロンプトに書くと、モデルが声を生成して口を合わせます。手持ちの音声を使う場合は、Renoise Agent に顔写真1枚と mp3 / wav の音声(4〜300秒)を渡すと、OmniHuman 2.0 が口の動きを合わせます。話し声でも歌でも使えますが、ボーカルのない伴奏だけの音源は受け付けません。出力は720pで、動画の長さは音声と同じです。
Kling 3.0 Omni の1回の生成で3〜15秒のクリップが作成されます。OmniHuman 2.0 は音声の長さがそのまま動画の長さになり、最長5分まで作れます。生成した動画クリップは、Renoise内で直接編集・トリミングできます。
最良の結果を得るには、明るくて正面を向いた顔写真が適しています。顔が明瞭で遮るものがなく、カメラにほぼ向いている状態が理想的です。横向きの角度、強い影、または一部が隠れた状態ではリップシンクの精度が下がります。モデルが口のアニメーションを固定するための顔のジオメトリが少なくなるためです。
Renoise で実在する人物の顔を使えるのは、肖像の使用権を持つ場合——自分自身の顔か、書面で同意を得た人の顔——に限られます。有名人・公人・未成年者の顔は使えず、本人の許可のないなりすましも認めていません。作った動画の公開や利用には現地の法律が適用されるので、用途に応じて確認してください。
はい。フィクションまたは AI 生成の顔なら、肖像の許諾は必要ありません。オリジナルキャラクターを生成し、その同じキャラクターをリップシンクの参照顔として使用できます。このページのすべてのデモ例はこのアプローチを使用しています — オリジナルのフィクションキャラクターのみです。
セリフから喋らせるなら、Kuaishou が開発した Kling 3.0 Omni です。「ネイティブ」とは、リップシンクが生成パイプラインに組み込まれていることを意味します — 顔とセリフを指定するだけで、声と口の動きが別の処理ステップなしに1回で生成されます。手持ちの歌や録音に合わせるなら、ByteDance の OmniHuman 2.0 を Renoise Agent から使います。
しくみは同じです — どちらも参照顔を使い、セリフからなら Kling 3.0 Omni、手持ちの録音からなら OmniHuman 2.0 で口を動かします。違いは意図にあります。トーキングフォトは通常、スクリプトを読み上げるプレゼンターやスピーカーを対象とし、有名人リップシンクはパフォーマンス・歌唱などエンターテインメント用途を指します。プレゼンター向けの使い方については AI トーキングフォトガイドをご覧ください。