Stable Video Diffusionを簡単にインストールする方法と使い方、ComfyUIでの使用方法も紹介します。
Stable Video Diffusionとは
入力画像から解像度576×1024（縦x横）の短い動画を生成することができます。アイキャッチ画像で試してみましたが一貫性も保たれており比較的自然な動画になっています。
問題点としては構図の指定などができません。おかしなカメラワークになったり人物が正しく生成されなかったりすることもあるため生成ガチャを必要とします。また、画像生成よりも高いマシンスペックが要求されます。最低でも12GB (ComfyUIは8GB) 以上のVRAMを搭載したグラフィックボードが必要となるでしょう。
Stable Video Diffusionのインストール
今回はPinokioを使ってインストールしました。Stable Diffusion ComfyUIでの使い方も後述しているのでお好きな方を選んでください。
また、Stable Diffusion WebUI Forgeでも利用できます。
Stable Video Diffusionの使い方
Model Versionをクリックしてモデルを選択します。SVDは14フレーム、SVD XTは25フレームを生成するように調整されています。
モデルを選択したらLoad Modelにチェックを入れてください。モデルのファイル容量は10GB程あるためダウンロードに時間がかかる場合があります。
パラメータがたくさんありますがInputに画像をアップロードしてSampleをクリックすれば生成が始まります。パラメータではfps（SVD14フレームのfps6なので約2.5秒の動画になる）motion bucket id（値を増やすと動きが大きくなり値を減らすと動きが少なくなる）Save path（保存先）などを確認すると良いでしょう。
Stable Diffusion ComfyUIでの使い方
Stable Diffusion ComfyUIでも試すことができ、VRAM使用量を若干抑えられるメリットがあります。モデルは以下からダウンロードしてください。
上の画像にワークフローを含んでいるのでドロップして使ってください。設定は以下の項目を確認して生成してください。
- Image Only Checkpoint Loader (モデル)
- Load Image (入力画像)
- video_frames (SVDは14, SVD_XTは25)
- motion_bucket_id (動きの大きさを調整する)
- fps (1秒間のフレーム数)