コンテンツへスキップ
新規限定初回購入割引

AI 有名人リップシンク動画

顔写真とセリフを用意するだけ — Kling 3.0 Omni が声も口の動きも生成します。手持ちの歌や録音に合わせるなら Renoise Agent へ。

AI 有名人リップシンク動画はどうやって作るの?

Renoise Canvas に顔写真をアップロードし、喋らせたいセリフとパフォーマンスの様子をプロンプトに書いて、Kling 3.0 Omni でレンダリングするだけです。モデルがセリフから声を生成し、口の動きまで1ステップで同期させます。手持ちの歌や録音に口を合わせたい場合は、Renoise Agent に顔写真と音声を渡してください。OmniHuman 2.0 が録音どおりに口を動かします。公人・有名人の顔は使用できません。実在の顔を使えるのは、自分の顔か書面で同意を得た人の顔に限られます。

歌うのではなく、スクリプトを話す写真を作りたい場合は AI トーキングフォトガイド

リップシンクジェネレーターの主な特徴

Kling 3.0 Omni のネイティブリップシンク — 始める前に知っておくべき重要事項。

ネイティブリップシンク — 編集不要

Kling 3.0 Omni はセリフの声と口の動きを1回の生成でまとめて作ります。手動のキーフレーム設定や後編集は一切不要です。

3〜15秒のクリップ

1回の生成で3〜15秒のクリップを作成できます。生成した動画クリップは、Renoise内で直接編集・トリミングできます。

手持ちの歌や録音にも

Renoise Agent に顔写真と音声(mp3 / wav、4〜300秒)を渡すと、OmniHuman 2.0 が話し声にも歌声にも口を合わせます。伴奏だけの音源は使えません。

有名人の顔は使えません

公人・有名人・未成年者の顔は使用できません。実在の顔は、自分の顔か書面で同意を得た人の顔に限られます。

Renoise で試す

3ステップでリップシンク動画を作成

顔写真とセリフから、同期したパフォーマンス動画まで — すべて Renoise Canvas の中で完結します。ここではオリジナルのフィクションキャラクターでデモンストレーションします。手持ちの歌や録音に合わせる場合は、この手順ではなく Renoise Agent を使います。

  1. Renoise Canvas にリップシンク用の顔写真をアップロードしている画面
    ステップ1

    顔写真をアップロード

    正面を向いた顔写真を Canvas にドラッグ&ドロップします。実在する人物なら、自分の顔か書面で同意を得た人の顔を使ってください。

  2. Renoise Canvasのプロンプト入力バーにプロンプトを入力する
    ステップ2

    セリフとパフォーマンスをプロンプトに書く

    喋らせたいセリフと、場面の設定・感情・スタイルを書きます — 例:「ネオンのステージに立つ司会者が『今夜は来てくれてありがとう!』と客席に呼びかける、エネルギッシュな雰囲気、ワイドショット」

  3. Renoise でネイティブリップシンク生成のために Kling 3.0 Omni を選択している画面
    ステップ3

    Kling 3.0 Omni を選択して生成

    モデルメニューから Kling 3.0 Omni を選択します。セリフの声もリップシンクもモデルが生成します。生成後、同期済みクリップをエクスポートします。

Renoise で試す

リップシンクのパフォーマンススタイル例

Renoise で作成したオリジナルフィクションキャラクターのサンプルです。同じ手順で、肖像の使用権を持つ実在の顔にも使えます。

ステージパフォーマンス

ネオン照明のステージで音楽に合わせて歌うオリジナル3Dシンガーキャラクター

スタジオプレゼンター

クリームのジャケットを着たオリジナルフィクションプレゼンターがスタジオでスピーチを届ける

シェフのナレーション

キッチンで口の動きを同期させながらナレーションするオリジナルフィクションシェフキャラクター

ファンタジーモノローグ

炎が揺れる幻想的な雰囲気の中でセリフを届けるオリジナルダークファンタジー戦士キャラクター

Renoise で試す

AI リップシンクの仕組みと、実在する顔に使用権が必要な理由

リップシンクとは、音声を口の形に対応させる技術です。話し言葉や歌声に含まれる個々の音(音素)には、それぞれ対応する口の形(ビジーム)があります。Kuaishou が開発した Kling 3.0 Omni は、プロンプトに書かれたセリフから声を生成し、その音素に合わせて顎・唇・頬をフレームごとに動かします。声と口の動きが1回の生成で一緒に作られるので、手動アニメーションや後処理は不要です。手持ちの歌や録音に合わせたいときは、ByteDance の OmniHuman 2.0 を Renoise Agent から使います。録音に合わせて口の動きを付け、動画の長さは録音と同じになります。

参照する顔写真がアイデンティティのアンカーになります。モデルはクリップ全体を通じて顔の同一性を保ちながら、口の動きと表情だけを変化させます。静止した肖像写真が歌うシンガーや話すプレゼンターになれるのはこのためです — 顔は変わらず、口と表情だけが動きます。

フィクションキャラクター、イラストのアバター、AI 生成の顔に対しては、このパイプラインに追加手順はありません。しかし実在する識別可能な人物の顔を使えるのは、その肖像の使用権を持つ場合 — 自分自身の顔か、本人から書面で同意を得た場合 — に限られます。公人・有名人・未成年者の顔は使用できず、現地の法律も適用されます。

つまり、写真をアップロードして実在するセレブのリップシンク動画を Renoise で生成することはできません。一方、自分自身の顔、書面で同意を得た被写体、または完全にオリジナルのフィクションキャラクターであれば生成できます。このページのデモ例はすべて、パイプラインを示すためにオリジナルのフィクションキャラクターを使用しています。

プランを選択

1つのプランでKling 3.0 Omniとその他すべての動画モデルが使えます。

Starter

初めてのAI制作に

$20

月額

1,200 ©/mo

GPT Image 2 の生成 約 150 回分

Seedance 2.0 の動画 約 60 本分

Director Mode
無制限生成
MiniMax H3無制限なし
Seedance 2.0 Mini無制限なし
Seedream 5.0 Pro無制限なし
✓生成の同時実行数が無制限
✓Renoise Agent(Beta)— 会話でクリエイト
✓LLMチャット無制限
✓商用利用
✓透かしなしの書き出し

Standard

毎週の継続制作に

$60

月額

3,600 ©/mo

GPT Image 2 の生成 約 450 回分

Seedance 2.0 の動画 約 180 本分

Director Mode
無制限生成
MiniMax H3無制限なし
Seedance 2.0 Mini無制限なし
Seedream 5.0 Pro無制限なし
✓生成の同時実行数が無制限
✓Renoise Agent(Beta)— 会話でクリエイト
✓最先端のエージェントモデル
✓LLMチャット無制限
✓商用利用
✓透かしなしの書き出し

Advanced

プロ規模の制作に

$200

月額

14,000 ©/mo2,000© BONUS

GPT Image 2 の生成 約 1,750 回分

Seedance 2.0 の動画 約 700 本分

Director Mode無料
無制限生成
MiniMax H3月7日間無制限
Seedance 2.0 Mini月7日間無制限
Seedream 5.0 Pro月7日間無制限
✓生成の同時実行数が無制限
✓Renoise Agent(Beta)— 会話でクリエイト
✓最先端のエージェントモデル
✓LLMチャット無制限
✓商用利用
✓透かしなしの書き出し

最初のリップシンク動画を作成しましょう

有料プランではウォーターマークなしでエクスポートできます。

よくある質問

1.実在する有名人の顔をリップシンクに使えますか?

いいえ。有名人・公人・未成年者の顔は使用できません。使えるのは、自分自身の顔、書面で同意を得た被写体、または完全にオリジナルのフィクションキャラクターです。実在の顔は拒否される場合もあり、現地の法律が適用されます。

2.リップシンクに使える音声フォーマットは?

Kling 3.0 Omni には音声ファイルを添付できません。セリフをプロンプトに書くと、モデルが声を生成して口を合わせます。手持ちの音声を使う場合は、Renoise Agent に顔写真1枚と mp3 / wav の音声(4〜300秒)を渡すと、OmniHuman 2.0 が口の動きを合わせます。話し声でも歌でも使えますが、ボーカルのない伴奏だけの音源は受け付けません。出力は720pで、動画の長さは音声と同じです。

3.リップシンク動画はどのくらいの長さにできますか?

Kling 3.0 Omni の1回の生成で3〜15秒のクリップが作成されます。OmniHuman 2.0 は音声の長さがそのまま動画の長さになり、最長5分まで作れます。生成した動画クリップは、Renoise内で直接編集・トリミングできます。

4.参照写真の顔は完全に正面を向いている必要がありますか?

最良の結果を得るには、明るくて正面を向いた顔写真が適しています。顔が明瞭で遮るものがなく、カメラにほぼ向いている状態が理想的です。横向きの角度、強い影、または一部が隠れた状態ではリップシンクの精度が下がります。モデルが口のアニメーションを固定するための顔のジオメトリが少なくなるためです。

5.リップシンク動画を作っても法的に問題はありませんか?

Renoise で実在する人物の顔を使えるのは、肖像の使用権を持つ場合——自分自身の顔か、書面で同意を得た人の顔——に限られます。有名人・公人・未成年者の顔は使えず、本人の許可のないなりすましも認めていません。作った動画の公開や利用には現地の法律が適用されるので、用途に応じて確認してください。

6.実際の写真の代わりに AI 生成の顔を使えますか?

はい。フィクションまたは AI 生成の顔なら、肖像の許諾は必要ありません。オリジナルキャラクターを生成し、その同じキャラクターをリップシンクの参照顔として使用できます。このページのすべてのデモ例はこのアプローチを使用しています — オリジナルのフィクションキャラクターのみです。

7.Renoise でリップシンクを担当するモデルはどれですか?

セリフから喋らせるなら、Kuaishou が開発した Kling 3.0 Omni です。「ネイティブ」とは、リップシンクが生成パイプラインに組み込まれていることを意味します — 顔とセリフを指定するだけで、声と口の動きが別の処理ステップなしに1回で生成されます。手持ちの歌や録音に合わせるなら、ByteDance の OmniHuman 2.0 を Renoise Agent から使います。

8.リップシンクとトーキングフォトの違いは何ですか?

しくみは同じです — どちらも参照顔を使い、セリフからなら Kling 3.0 Omni、手持ちの録音からなら OmniHuman 2.0 で口を動かします。違いは意図にあります。トーキングフォトは通常、スクリプトを読み上げるプレゼンターやスピーカーを対象とし、有名人リップシンクはパフォーマンス・歌唱などエンターテインメント用途を指します。プレゼンター向けの使い方については AI トーキングフォトガイドをご覧ください。

By Peyton, RenoiseLast reviewed Models verified: Kling 3.0 Omni, OmniHuman 2.0