DragonDiffusion：在扩散模型上实现拖拽式编辑
计算机视觉与模式识别
2023-11-21 v2
摘要
尽管现有大规模文本到图像（T2I）模型能从详尽文本描述生成高质量图像，它们往往缺乏精确编辑所生成或真实图像的能力。本文提出一种新颖的图像编辑方法 DragonDiffusion，在扩散模型上实现拖拽式（Drag-style）操控。具体而言，我们基于扩散模型中间特征的强对应性构建分类器引导。它可通过特征对应损失将编辑信号转化为梯度，以修改扩散模型的中间表示。基于该引导策略，我们还构建了多尺度引导，同时考虑语义与几何对齐。此外，添加了跨分支自注意力以维持原图与编辑结果间的一致性。我们的方法通过高效设计，对生成或真实图像实现了多种编辑模式，如物体移动、物体缩放、物体外观替换与内容拖拽。值得注意的是，所有编辑与内容保留信号均来自图像自身，模型无需微调或额外模块。源代码将发布于 https://github.com/MC-E/DragonDiffusion。
引用
@article{arxiv.2307.02421,
title = {DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models},
author = {Chong Mou and Xintao Wang and Jiechong Song and Ying Shan and Jian Zhang},
journal= {arXiv preprint arXiv:2307.02421},
year = {2023}
}