随机性的恩赐：在通用扩散图像编辑中 SDE 胜过 ODE
计算机视觉与模式识别
2024-03-01 v2 机器学习
摘要
我们提出一种用于基于扩散的图像编辑的统一概率表述，其中潜变量以任务特定方式被编辑，且通常偏离由原始随机或常微分方程（SDE 或 ODE）诱导的相应边缘分布。相反，它为编辑定义相应的 SDE 或 ODE。在该表述中，我们证明两个 SDE 的边缘分布之间的 Kullback-Leibler 散度逐渐减小，而 ODE 的相应散度随时间趋于零时保持不变，这显示了 SDE 在图像编辑中的潜力。受此启发，我们为包括修复与图像到图像翻译在内的多种任务中广泛使用的 ODE 基线提供 SDE 对应方法，其中 SDE 展现出一致且显著的改进。此外，我们提出 SDE-Drag——一种基于 SDE 表述构建的用于点基内容拖拽的简单而有效的方法。我们构建了一个具有开放集自然图像、艺术图像与 AI 生成图像的具有挑战性的基准（称为 DragBench）用于评估。在 DragBench 上的用户研究表明 SDE-Drag 显著优于我们的 ODE 基线、现有基于扩散的方法以及著名的 DragGAN。我们的结果证明了 SDE 在图像编辑中的优越性与通用性，并推进了基于扩散的编辑方法的边界。
引用
@article{arxiv.2311.01410,
title = {The Blessing of Randomness: SDE Beats ODE in General Diffusion-based Image Editing},
author = {Shen Nie and Hanzhong Allan Guo and Cheng Lu and Yuhao Zhou and Chenyu Zheng and Chongxuan Li},
journal= {arXiv preprint arXiv:2311.01410},
year = {2024}
}