画像や動画の人物の表情をコントロールする (LivePortrait)

LivePortrait AIツール

LivePortraitでは、ビデオから得られたモーション(顔の表情や頭のポーズなど)を使用して、リアルなビデオを合成することができます。

実行環境

OSWindows11 23H2
LivePortraitb370d8059c4794ad2afce2db404e2aa5450e098c

ソフトウェア要件

インストールする前に必要なソフトがあります。パッケージでのインストールなら不要です。

Git

Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。

Miniconda

conda(パッケージ管理ツール)を使用するのでMinicondaをインストールします。こちらにはPythonも含まれています。

インストール

パッケージ版

パッケージ化されてインストールが簡単になりました。

cleardusk/LivePortrait-Windows at mainからファイルをダウンロードして解凍し、run_windows.batを実行するだけで使用できるようになります。

LivePortrait-Windows ダウンロード

LivePortrait-Windowsというファイルをダウンロードして解凍してください。容量が大きいためWindows標準の解凍機能では時間がかかりました。7Zipでの解凍をおすすめします。

マニュアルインストール

リポジトリ

Anaconda Prompt (miniconda3)を開きます。

リポジトリをクローン

git clone https://github.com/KwaiVGI/LivePortrait

ディレクトリ移動

cd LivePortrait

仮想環境を作成

conda create -n LivePortrait python==3.9.18

仮想環境をアクティブ化

conda activate LivePortrait

要件をインストール

pip install -r requirements.txt

ファイルのダウンロード

insightfaceliveportraitをダウンロードして解凍したフォルダをpretrained_weights内に配置してください。

pretrained_weights
│  .gitkeep
│
├─insightface
│  └─models
│      └─buffalo_l
│              2d106det.onnx
│              det_10g.onnx
│
└─liveportrait
    │  landmark.onnx
    │
    ├─base_models
    │      appearance_feature_extractor.pth
    │      motion_extractor.pth
    │      spade_generator.pth
    │      warping_module.pth
    │
    └─retargeting_models
            stitching_retargeting_module.pth

推論

Stitching

Gradioデモを実行

python app.py

Running on local URL: http://127.0.0.1:8890を開く

LivePortrait Gradio

ソースとなる画像または動画と、合成したい表情の動画をアップロードしてAnimateをクリックすると生成が開始されます。

サンプルで試した生成結果になります。VRAM使用量は3GB程度でした。

ソースイメージ
ソースビデオ

Retargeting

ソース画像の目と口の開きを編集するリターゲティングという機能もあります。

LivePortrait Retargeting

target eyes-open ratiotarget lip-open ratioの数値を変更して試してください。

タイトルとURLをコピーしました