Stable Diffusion Web UI (AUTOMATIC1111) でのファインチューニング手法

Stable Diffusionに新しいデータやスタイルを追加学習させる方法がいくつかあり、ファインチューニング次第で生成結果に大きな変化を与えます。ここではファインチューニング手法3つをAUTOMATIC1111で適用する方法を紹介します。

これから紹介するファインチューニングするためのファイルはCivitaiでたくさん公開されています。フィルター機能があるので簡単に検索することができます。

Textual Inversion

CLIP（テキストエンコーダー）の微調整します。ファイルサイズは小さいが、多様性や類似度がいまひとつです。ネガティブエンベディングなどはよく使われています。

適用方法

ダウンロードしたファイルを以下の階層に保存してください。

📁webui\embeddings

プロンプトにファイル名を記述することで適用できます。ネガティブエンベディング系はネガティブプロンプトに記述してください。

人気・おすすめモデルを一部紹介

EasyNegative

低品質の画像生成を防いでくれる人気のネガティブエンベディングです。Counterfeit（モデル）でトレーニングされておりイラスト系モデルでの効果は高そうです。

badhandv4

手の変形など抑えるネガティブエンベディングです。この埋め込みだけで完全に奇形がなくなるほどの効果とかはないです。

Hypernetworks

CLIP（テキストエンコーダー）とUnet（ノイズを取り除いていく過程）を微調整します。Loraと似ているがマイナーなため数が少ないです。

適用方法

ダウンロードしたファイルを以下の階層に保存してください。

📁webui\models\hypernetworks

プロンプトに<hypernet:ファイル名:影響値>と記述します。

LoRA / LyCORIS

CLIP（テキストエンコーダー）とUnet（ノイズを取り除いていく過程）を微調整します。多様性や類似度も高くファインチューニングではメジャーな手法になります。

LyCORISは、AUTOMATIC1111 v1.5.0からLoRAの項目で使用できるようになりました。

適用方法

ダウンロードしたファイルを以下の階層に保存してください。

📁webui\models\Lora

プロンプトに<lora:ファイル名:影響値>と記述します。

人気・おすすめモデルを一部紹介

Detail Tweaker LoRA

全体的なスタイルやキャラクターを維持したままディテールの増減を調整することができます。あらゆるベースモデルに対応しており、2/-2までのウェイトに対応しています。

Civitai Helperでファイルのサムネイルを取得

チェックポイントやファインチューニングファイルのサムネを一括で取得できる拡張機能を紹介します。