学习笔记：使用 ControlNet 的 reference-only 控制

ControlNet 是一个用于在本地运行 AI 生成图片的软件，它可以在 AUTOMATIC1111 的 Stable Diffusion web UI 的基础上，添加 ControlNet 来实现更多的图像控制功能。ControlNet 有多种控制模式，包括 text-to-image (T2I)、shuffle、reference-only 等。本文主要介绍 reference-only 这种控制模式的原理和用法。

reference-only 控制的原理

reference-only 控制是一种不需要任何控制模型的预处理器，它可以直接使用图像作为参考来引导 Stable Diffusion 生成图像。这种方法类似于 inpaint-based reference，但是它不会让生成的图像出现混乱或失真。reference-only 控制可以直接将 Stable Diffusion 的注意力层与任意的独立图像连接起来，让 Stable Diffusion 读取任意图像作为参考。这种方法是尽可能地“无偏见”的，它只包含了一些基本的连接代码，没有任何个人喜好，只是为了实现注意力层与参考图像的连接。但是，即使我们尽力不包含任何有偏见的代码，我们仍然需要写一些主观的实现来处理权重、cfg-scale 等问题。

reference-only 控制的用法

要使用 reference-only 控制，您需要至少 ControlNet 1.1.153 版本。使用方法如下：

• 在 Web UI 中打开“Extensions”标签页。
• 在“Extensions”标签页中打开“Installed”标签页。
• 在“Installed”标签页中选择“sd-webui-controlnet”扩展。
• 在“sd-webui-controlnet”扩展中选择“reference-only”作为预处理器。
• 在“reference-only”预处理器中输入一个图像的 URL 或者上传一个本地图像文件作为参考。
• 在“Prompt”栏中输入您想要生成的图像的描述，可以使用正面或负面的提示来指定您想要或不想要的特征。
• 调整其他参数，如分辨率、迭代次数、温度等。
• 点击“Generate”按钮开始生成图像。

reference-only 控制的优势

reference-only 控制有以下几个优势：

• 它不需要任何额外的控制模型，节省了存储空间和计算资源。
• 它可以使用任意的图像作为参考，不受限于预定义的类别或风格。
• 它可以保持参考图像的清晰度和完整性，不会出现 inpaint-based reference 的失真问题。
• 它可以重新生成中途停止的图像，只需将中途停止的图像作为参考即可。

reference-only 控制的局限

reference-only 控制也有以下几个局限：

• 它不能实现一些特定的控制效果，如 T2I 或 shuffle 所能实现的。
• 它不能保证生成的图像与参考图像完全一致，可能会出现一些差异或变化。
• 它不能处理一些复杂或抽象的参考图像，可能会导致生成失败或质量低下。

参考资料

¹: https://github.com/Mikubill/sd-webui-controlnet