人間の3Dモーションを生成する (MoMask)

テキストからモーションキャプチャ (BVH)を生成することができるMoMaskを紹介します。

機械学習・深層学習におすすめの自作PC構成

画像生成や動画生成、音声変換などAIツールを利用してみたい方に向けての自作PC構成を紹介します。実際のベンチマーク結果などもあるので参考にしてください。

pcniki.com

2024.06.25

実行環境

ソフトウェア要件

インストールする前に必要なソフトがあります。

Git

Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。

64-bit Git for Windows Setup.をダウンロードしてインストールしてください。

Miniconda

conda（パッケージ管理ツール）を使用するのでMinicondaをインストールします。こちらにはPythonも含まれています。

Miniconda3 Windows 64-bitをダウンロードしてください。

installersを起動してインストールを進めていくのですが、途中のオプションでAdd Miniconda3 to my PATH environment variableにチェックを入れてください。

インストール

コマンドプロンプトを開きます。

git clone https://github.com/EricGuo5513/momask-codes.git

cd momask-codes

conda create -n momask python=3.8

conda activate momask

pip install -r requirements.txt

ファイルのダウンロード

kit_models.zipとhumanml3d_models.zipをダウンロードして解凍し、以下のように配置してください。

├─assets
├─checkpoints
│  ├─kit
│  │  ├─rvq_nq6_dc512_nc512_noshare_qdp0.2_k
│  │  ├─t2m_nlayer8_nhead6_ld384_ff1024_cdp0.1_rvq6ns_k
│  │  └─tres_nlayer8_ld384_ff1024_rvq6ns_cdp0.2_sw_k
│  └─t2m
│      ├─length_estimator
│      ├─rvq_nq6_dc512_nc512_noshare_qdp0.2
│      ├─t2m_nlayer8_nhead6_ld384_ff1024_cdp0.1_rvq6ns
│      └─tres_nlayer8_ld384_ff1024_rvq6ns_cdp0.2_sw
├─common
├─...

推論

モーションキャプチャ (BVH) を生成します。棒人間アニメーション (MP4) も生成したい場合は、先にFFmpegをダウンロードしてください。

FFmpegをWindowsにダウンロードする

マルチメディアデータを処理するためのコマンドラインツールであるFFmpegをWindowsで利用できるようにする方法を紹介します。

pcniki.com

2024.06.16

生成したいモーションのプロンプト記述して実行してください。生成されたBVHファイルはgenerationフォルダに保存されます。

python gen_t2m.py --gpu_id 0 --ext exp1 --text_prompt "A person is running on a treadmill."

• –gpu_id 0 使用するグラフィックボードを変更
• –ext exp1 保存するフォルダ名を変更

棒人間アニメーション (MP4) でモーションを確認できます。

Blenderにインポート

BlenderでBVHファイルをインポートできます。生成したアニメーションをチェックしてみてください。