Stable Diffusion Web UI (AUTOMATIC1111) でのファインチューニング手法

Stable Diffusionに新しいデータやスタイルを追加学習させる方法がいくつかあり、ファインチューニング次第で生成結果に大きな変化を与えます。ここではファインチューニング手法3つをAUTOMATIC1111で適用する方法を紹介します。

これから紹介するファインチューニングするためのファイルはCivitaiでたくさん公開されています。フィルター機能があるので簡単に検索することができます。

SDXLベースのチェックポイントは、ファインチューニングもSDXL用のファイルが必要になります。

Textual Inversion

CLIP（テキストエンコーダー）の微調整します。ファイルサイズは小さいが、多様性や類似度がいまひとつです。ネガティブエンベディングなどはよく使われています。

ダウンロードしたファイルを以下の階層に保存してください。

📁webui\embeddings

プロンプトにファイル名を記述することで適用できます。ネガティブエンベディング系はネガティブプロンプトに記述してください。

人気・おすすめモデルを一部紹介

低品質の画像生成を防いでくれる人気のネガティブエンベディングです。Counterfeit（モデル）でトレーニングされておりイラスト系モデルでの効果は高そうです。

手の変形など抑えるネガティブエンベディングです。この埋め込みだけで完全に奇形がなくなるほどの効果とかはないです。

CLIP（テキストエンコーダー）とUnet（ノイズを取り除いていく過程）を微調整します。Loraと似ているがマイナーなため数が少ないです。

ダウンロードしたファイルを以下の階層に保存してください。

📁webui\models\hypernetworks

プロンプトに<hypernet:ファイル名:影響値>と記述します。

CLIP（テキストエンコーダー）とUnet（ノイズを取り除いていく過程）を微調整します。多様性や類似度も高くファインチューニングではメジャーな手法になります。

LyCORISは、AUTOMATIC1111 v1.5.0からLoRAの項目で使用できるようになりました。

ダウンロードしたファイルを以下の階層に保存してください。

📁webui\models\Lora

プロンプトに<lora:ファイル名:影響値>と記述します。

人気・おすすめモデルを一部紹介

全体的なスタイルやキャラクターを維持したままディテールの増減を調整することができます。あらゆるベースモデルに対応しており、2/-2までのウェイトに対応しています。

チェックポイントやファインチューニングファイルのサムネを一括で取得できる拡張機能を紹介します。

Extensionsタブを開く
Install from URLタブを開く
URL for extension’s git repositoryにhttps://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper.gitと入力してInstall

リフレッシュしたらサムネイルが表示されます。