MDP：一种通过操控扩散路径实现文本引导图像编辑的通用框架
计算机视觉与模式识别
2023-03-31 v2
摘要
使用扩散的图像生成可通过多种方式控制。本文中，我们系统分析现代生成式扩散网络的公式，提出一个名为 MDP 的框架，该框架阐释了合适操控的设计空间。我们识别出 5 种不同的操控，包括中间隐变量、条件嵌入、交叉注意力图、引导以及预测噪声。我们分析了这些操控的对应参数与操控调度。我们展示一些先前的编辑方法恰好契合我们的框架。特别地，我们确定了一种通过操控预测噪声实现控制的特定配置，其可对多种局部与全局编辑执行比先前工作更高质量的编辑。
引用
@article{arxiv.2303.16765,
title = {MDP: A Generalized Framework for Text-Guided Image Editing by Manipulating the Diffusion Path},
author = {Qian Wang and Biao Zhang and Michael Birsak and Peter Wonka},
journal= {arXiv preprint arXiv:2303.16765},
year = {2023}
}
备注
Project page: https://github.com/QianWangX/MDP-Diffusion