画像や動画の人物の表情をコントロールする (LivePortrait)

LivePortraitでは、ビデオから得られたモーション（顔の表情や頭のポーズなど）を使用して、リアルなビデオを合成することができます。

機械学習・深層学習におすすめの自作PC構成

画像生成、動画生成、音声変換などのAIツールを活用したい方に向けて、自作PCの構成をご紹介します。今回紹介する構成は、機械学習・深層学習の入門用として、個人的に最低限必要だと考えるスペックを基にしています。紹介している製品の価格や在庫状況は…

pcniki.com

2025.02.09

実行環境

ソフトウェア要件

インストール前に必要なソフトがあります。パッケージでのインストールなら不要です。

Git

Gitは分散型バージョン管理システムで、GitHubのリポジトリ管理に使用されます。

Miniconda

condaを使用して、仮想環境を作成します。

インストール

パッケージ版

cleardusk/LivePortrait-Windows at mainからファイルをダウンロードして解凍し、run_windows.batを実行するだけで使用できるようになります。

LivePortrait-Windowsというファイルをダウンロードして解凍してください。容量が大きいためWindows標準の解凍機能では時間がかかりました。7Zipでの解凍をおすすめします。

圧縮・解凍ソフト 7-Zip

マニュアルインストール

Anaconda Prompt (miniconda3)を開きます。

git clone https://github.com/KwaiVGI/LivePortrait

cd LivePortrait

conda create -n LivePortrait python==3.9.18

conda activate LivePortrait

pip install -r requirements.txt

ファイルのダウンロード

insightfaceとliveportraitをダウンロードして解凍したフォルダをpretrained_weights内に配置してください。

pretrained_weights
│  .gitkeep
│
├─insightface
│  └─models
│      └─buffalo_l
│              2d106det.onnx
│              det_10g.onnx
│
└─liveportrait
    │  landmark.onnx
    │
    ├─base_models
    │      appearance_feature_extractor.pth
    │      motion_extractor.pth
    │      spade_generator.pth
    │      warping_module.pth
    │
    └─retargeting_models
            stitching_retargeting_module.pth

推論

Stitching

Gradioデモを実行

python app.py

Running on local URL: http://127.0.0.1:8890を開く

ソースとなる画像または動画と、合成したい表情の動画をアップロードしてAnimateをクリックすると生成が開始されます。

サンプルで試した生成結果になります。VRAM使用量は3GB程度でした。

Retargeting

ソース画像の目と口の開きを編集するリターゲティングという機能もあります。

target eyes-open ratioやtarget lip-open ratioの数値を変更して試してください。