FLUXのControlNetワークフロー (ComfyUI)

ComfyUIでFLUXにControlNetを適用するワークフローを紹介します。XLabs AIとShakker Labsが提供しているControlNetモデルになります。

Black Forest LabsがFLUX.1 Toolsをリリースしました。

実行環境

ComfyUIのインストール

CannyやDepthなどのマップ作成にComfyUI’s ControlNet Auxiliary Preprocessorsを使います。拡張機能のインストールは、ComfyUI Managerから行いました。

XLabs AIは、3つのControlNetモデルを提供しています。

flux1-dev-fp8.safetensors 使用したチェックポイント (Text EncoderとVAEを含む)

flux-controlnet-collectionsからcanny, depth, hedのモデルをダウンロードして📁ComfyUI\models\controlnetに配置してください。バージョンは新しいものがよいと思います。

上の画像にワークフローが含まれているのでドロップして使ってください。

XLabsのサンプラーは時間がかかっためデフォルトのサンプラーを使っています。

コントロールネットの効きは、Apply ControlNetのstrengthを調整してください。プロンプトの効きが悪くなった場合は、FluxGuidanceを少し上げてください。

DepthやHEDを使う場合は、プリプロセッサのノードを繋ぎなおしてControlNetのモデルを変更してください。初めて使うプリプロセッサは、ダウンロードに時間がかかる場合があります。

InstantXとShakker Labsが共同でリリースしたモデルになります。こちらは、7つのControlモードをサポートしています。

FLUX.1-dev-ControlNet-Union-Proからモデルをダウンロードして📁ComfyUI\models\controlnetに配置してください。

clip-vit-large-patch14からモデルをダウンロードして📁ComfyUI\models\clip_visionに配置してください。

上の画像にワークフローが含まれているのでドロップして使ってください。tile, blur, gray, low qualityはプリプロセッサ不要です。

Controlモードの変更は、SetUnionControlNetTypeを選択します。現在、新しいUnionモデルのためかControlモードとSetUnionControlNetTypeがずれています。以下に合わせて設定してください。