读出引导：从扩散特征中学习控制

我们提出了读出引导，一种利用学习到的信号控制文本到图像扩散模型的方法。读出引导使用读出头，这是一种轻量级网络，经过训练可在每个时间步从预训练的、冻结的扩散模型特征中提取信号。这些读出可以编码单图像属性，如姿态、深度和边缘；也可以编码关联多张图像的高阶属性，如对应关系和外观相似度。此外，通过将读出估计与用户定义的目标进行比较，并通过读出头反向传播梯度，这些估计可用于引导采样过程。与先前的条件生成方法相比，读出引导所需的额外参数和训练样本显著更少，并提供了一种便捷且简单的方案，能够在单一框架、单一架构和采样程序下重现不同形式的条件控制。我们在基于拖拽的图像操控、身份一致生成和空间对齐控制的应用中展示了这些优势。项目页面：https://readout-guidance.github.io。