ポートレートの背景置換と照明の調整を行いリアルな合成写真を生成することができるIC-Lightについて紹介します。
実行環境
公式のインストール方法とForgeでの利用方法の2つを紹介します。実行時の環境は以下になります。
OS | Windows11 23H2 |
IC-Light | 93654060598069b8a6b481bf24057cb015ea9e93(ハッシュ) |
SD Forge IC Light | 757d4304bc3e57356c0edc2efbc5d0ae51e07f97(ハッシュ) |
ソフトウェア要件
公式のインストール方法ではインストールする前に必要なソフトがあります。
Git
Gitは分散型バージョン管理システムです。GitHubのリポジトリ管理に使用します。
Miniconda
conda(パッケージ管理ツール)を使用するのでMinicondaをインストールします。こちらにはPythonも含まれています。
IC-Light
IC-Lightインストール
Anaconda Prompt (miniconda3)を開きます。
リポジトリをクローン
git clone https://github.com/lllyasviel/IC-Light.git
ディレクトリ移動
cd IC-Light
仮想環境を作成(Python 3.10 仮想環境の名前はiclightとした)
conda create -n iclight python=3.10
仮想環境をアクティブ化
conda activate iclight
PyTorchをインストール(最新v2.3.0, CUDA 12.1)
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
要件をインストール
pip install -r requirements.txt
WebUI起動
以下の2つのdemoが用意されています。最初はモデルのダウンロードが行われるので完了したらhttp://127.0.0.1:7860/を開いてください。
テキスト条件付きモデル
python gradio_demo.py
![IC-Light Text-Conditioned Model](https://pcniki.com/wp-content/uploads/2024/05/ic-light-1-800x802.webp)
プロンプトとライティングの方向を指定してRelightをクリックします。単なる背景合成とは異なり人物も光の調整が行われていることがわかります。
背景条件付きモデル
python gradio_demo_bg.py
![IC-Light Background-Conditioned Model](https://pcniki.com/wp-content/uploads/2024/05/ic-light-2-800x1055.webp)
ソースにUse Background Imageを選択することで背景画像の光を参照して人物のリライティングが行うことができます。
SD Forge IC Light
Stable Diffusion WebUI Forgeでも利用できます。
SD Forge IC Lightインストール
ExtensionsタブからSD Forge IC Lightをインストールします。
![SD Forge IC-Light インストール](https://pcniki.com/wp-content/uploads/2024/05/ic-light-3-800x322.webp)
Install from URLにhttps://github.com/huchenlei/sd-forge-ic-light.gitと入力してInstallをクリックします。
![LayerDiffuseインストール適用](https://pcniki.com/wp-content/uploads/2024/05/sd-forge-layerdiffuse-2-800x167.webp)
Installedタブに移動しApply and restart UIをクリックして再起動してください。
以下のリンクから2つのモデルをダウンロードしてwebui_forge_cu121_torch21\webui\models\unetに配置してください。unetフォルダがない場合は作成してください。
- iclight_sd15_fc_unet_ldm.safetensors
- iclight_sd15_fbc_unet_ldm.safetensors
SD Forge IC Light使い方
IC Lightにチェックを入れてモデルとソースを選択します。よい結果を得るために低いCFG Scaleと強いDenoising strengthを使用することが推奨されています。
![SD Forge IC-Light Txt2Img FC](https://pcniki.com/wp-content/uploads/2024/05/ic-light-4-800x440.webp)
前景を入力して背景の生成とリライティング (txt2img)
![SD Forge IC-Light Img2Img FC](https://pcniki.com/wp-content/uploads/2024/05/ic-light-5-800x466.webp)
前景を入力と光の指定をして背景の生成とリライティング (img2img)
![SD Forge IC-Light Txt2Img FBC](https://pcniki.com/wp-content/uploads/2024/05/ic-light-6-800x468.webp)
前景と背景を入力してリライティング (txt2img)