基于自引导机制的有效无调参实图像编辑：Guide-and-Rescale

尽管最近在大规模文本到图像生成模型方面取得了进展，但使用这些模型对真实图像进行编辑仍然是一个具有挑战性的问题。现有编辑方法的主要限制是它们要么在广泛的图像编辑范围内未能保持一致的质量，要么需要对扩散模型进行耗时的超参数调优或微调以保留输入图像的特定外观。我们提出了一种新方法，基于修改后的扩散采样过程通过引导机制实现。本文探索了 self-guidance 技术，以保留输入图像的整体结构以及不应被编辑的局部区域外观。具体而言，我们显式引入旨在保存源图像局部和全局结构的 layout-preserving 能量函数。此外，我们提出了一种 noise rescale 机制，允许通过在生成过程中平衡 classifier-free guidance 与我们提出的 guiders 的范数来保留噪声分布。这种引导方法无需对扩散模型进行微调和 exact inversion process。结果，该方法提供了快速且高质量的编辑机制。在我们的实验中，我们通过人类评估和量化分析表明，所提出的方法能够产生更受人类偏好的所需编辑，同时在编辑质量与保留原始图像之间实现更好的权衡。我们的代码已公开 https://github.com/MACderRu/Guide-and-Rescale。