ポートレートの背景置換と照明の調整を行いリアルな合成写真を生成することができるIC-Lightについて紹介します。
実行環境
公式のインストール方法とForgeでの利用方法の2つを紹介します。実行時の環境は以下になります。
| OS | Windows11 23H2 |
| IC-Light | 93654060598069b8a6b481bf24057cb015ea9e93（ハッシュ） |
| SD Forge IC Light | 757d4304bc3e57356c0edc2efbc5d0ae51e07f97（ハッシュ） |
ソフトウェア要件
公式のインストール方法ではインストールする前に必要なソフトがあります。
Git
Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。
64-bit Git for Windows Setup.をダウンロードしてインストールしてください。
Miniconda
conda（パッケージ管理ツール）を使用するのでMinicondaをインストールします。こちらにはPythonも含まれています。
Miniconda3 Windows 64-bitをダウンロードしてください。
installersを起動してインストールを進めていくのですが、途中のオプションでAdd Miniconda3 to my PATH environment variableにチェックを入れてください。
IC-Light
IC-Lightインストール
コマンドプロンプトを開きます。
リポジトリをクローン
git clone https://github.com/lllyasviel/IC-Light.gitディレクトリ移動
cd IC-Light仮想環境を作成（Python 3.10 仮想環境の名前はiclightとした）
conda create -n iclight python=3.10仮想環境をアクティブ化
conda activate iclightPyTorchをインストール（最新v2.3.0, CUDA 12.1）
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia要件をインストール
pip install -r requirements.txtWebUI起動
以下の2つのdemoが用意されています。最初はモデルのダウンロードが行われるので完了したらhttp://127.0.0.1:7860/を開いてください。
テキスト条件付きモデル
python gradio_demo.py
プロンプトとライティングの方向を指定してRelightをクリックします。単なる背景合成とは異なり人物も光の調整が行われていることがわかります。
背景条件付きモデル
python gradio_demo_bg.py
ソースにUse Background Imageを選択することで背景画像の光を参照して人物のリライティングが行うことができます。
SD Forge IC Light
Stable Diffusion WebUI Forgeでも利用できます。
SD Forge IC Lightインストール
ExtensionsタブからSD Forge IC Lightをインストールします。
Install from URLにhttps://github.com/huchenlei/sd-forge-ic-light.gitと入力してInstallをクリックします。
Installedタブに移動しApply and restart UIをクリックして再起動してください。
以下のリンクから2つのモデルをダウンロードしてwebui_forge_cu121_torch21\webui\models\unetに配置してください。unetフォルダがない場合は作成してください。
- iclight_sd15_fc_unet_ldm.safetensors
- iclight_sd15_fbc_unet_ldm.safetensors
SD Forge IC Light使い方
IC Lightにチェックを入れてモデルとソースを選択します。よい結果を得るために低いCFG Scaleと強いDenoising strengthを使用することが推奨されています。
前景を入力して背景の生成とリライティング (txt2img)
前景を入力と光の指定をして背景の生成とリライティング (img2img)
前景と背景を入力してリライティング (txt2img)