IC-Lightを使用して人物画像のリライティングを行う

ポートレートの背景置換と照明の調整を行いリアルな合成写真を生成することができるIC-Lightについて紹介します。

機械学習・深層学習におすすめの自作PC構成

画像生成や動画生成、音声変換などAIツールを利用してみたい方に向けての自作PC構成を紹介します。実際のベンチマーク結果などもあるので参考にしてください。

pcniki.com

2024.06.30

実行環境

公式のインストール方法とForgeでの利用方法の2つを紹介します。実行時の環境は以下になります。

ソフトウェア要件

公式のインストール方法ではインストールする前に必要なソフトがあります。

Git

Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。

Miniconda

conda（パッケージ管理ツール）を使用するのでMinicondaをインストールします。こちらにはPythonも含まれています。

IC-Light

IC-Lightインストール

Anaconda Prompt (miniconda3)を開きます。

git clone https://github.com/lllyasviel/IC-Light.git

cd IC-Light

conda create -n iclight python=3.10

conda activate iclight

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

pip install -r requirements.txt

WebUI起動

以下の2つのdemoが用意されています。最初はモデルのダウンロードが行われるので完了したらhttp://127.0.0.1:7860/を開いてください。

テキスト条件付きモデル

python gradio_demo.py

プロンプトとライティングの方向を指定してRelightをクリックします。単なる背景合成とは異なり人物も光の調整が行われていることがわかります。

背景条件付きモデル

python gradio_demo_bg.py

ソースにUse Background Imageを選択することで背景画像の光を参照して人物のリライティングが行うことができます。

SD Forge IC Light

Stable Diffusion WebUI Forgeでも利用できます。

Stable Diffusion WebUI ForgeとAUTOMATIC1111での画像生成の比較と拡張機能について

Stable Diffusion WebUI AUTOMATIC1111をベースに最適化したForgeをインストールしてリソースや推論速度の比較をしました。拡張機能についても少し触れているのでご覧ください。

pcniki.com

2024.07.27

SD Forge IC Lightインストール

ExtensionsタブからSD Forge IC Lightをインストールします。

Install from URLにhttps://github.com/huchenlei/sd-forge-ic-light.gitと入力してInstallをクリックします。

Installedタブに移動しApply and restart UIをクリックして再起動してください。

以下のリンクから2つのモデルをダウンロードしてwebui_forge_cu121_torch21\webui\models\unetに配置してください。unetフォルダがない場合は作成してください。

• iclight_sd15_fc_unet_ldm.safetensors
• iclight_sd15_fbc_unet_ldm.safetensors

SD Forge IC Light使い方

IC Lightにチェックを入れてモデルとソースを選択します。よい結果を得るために低いCFG Scaleと強いDenoising strengthを使用することが推奨されています。

前景を入力して背景の生成とリライティング (txt2img)

前景を入力と光の指定をして背景の生成とリライティング (img2img)

前景と背景を入力してリライティング (txt2img)