画像や動画の人物の表情をコントロールする (LivePortrait)

LivePortraitでは、ビデオから得られたモーション（顔の表情や頭のポーズなど）を使用して、リアルなビデオを合成することができます。

機械学習・深層学習におすすめの自作PC構成

画像生成や動画生成、音声変換などAIツールを利用してみたい方に向けての自作PC構成を紹介します。実際のベンチマーク結果などもあるので参考にしてください。

pcniki.com

2024.06.30

実行環境

ソフトウェア要件

インストールする前に必要なソフトがあります。パッケージでのインストールなら不要です。

Git

Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。

Miniconda

conda（パッケージ管理ツール）を使用するのでMinicondaをインストールします。こちらにはPythonも含まれています。

インストール

パッケージ版

cleardusk/LivePortrait-Windows at mainからファイルをダウンロードして解凍し、run_windows.batを実行するだけで使用できるようになります。

LivePortrait-Windowsというファイルをダウンロードして解凍してください。容量が大きいためWindows標準の解凍機能では時間がかかりました。7Zipでの解凍をおすすめします。

圧縮・解凍ソフト 7-Zip

マニュアルインストール

Anaconda Prompt (miniconda3)を開きます。

git clone https://github.com/KwaiVGI/LivePortrait

cd LivePortrait

conda create -n LivePortrait python==3.9.18

conda activate LivePortrait

pip install -r requirements.txt

ファイルのダウンロード

insightfaceとliveportraitをダウンロードして解凍したフォルダをpretrained_weights内に配置してください。

pretrained_weights
│  .gitkeep
│
├─insightface
│  └─models
│      └─buffalo_l
│              2d106det.onnx
│              det_10g.onnx
│
└─liveportrait
    │  landmark.onnx
    │
    ├─base_models
    │      appearance_feature_extractor.pth
    │      motion_extractor.pth
    │      spade_generator.pth
    │      warping_module.pth
    │
    └─retargeting_models
            stitching_retargeting_module.pth

推論

Stitching

Gradioデモを実行

python app.py

Running on local URL: http://127.0.0.1:8890を開く

ソースとなる画像または動画と、合成したい表情の動画をアップロードしてAnimateをクリックすると生成が開始されます。

サンプルで試した生成結果になります。VRAM使用量は3GB程度でした。

Retargeting

ソース画像の目と口の開きを編集するリターゲティングという機能もあります。

target eyes-open ratioやtarget lip-open ratioの数値を変更して試してください。