SDEdit：基于随机微分方程的引导式图像合成与编辑
计算机视觉与模式识别
2022-01-06 v2 人工智能
摘要
引导式图像合成使日常用户能够以最少的努力创建和编辑照片般逼真的图像。关键挑战在于平衡对用户输入（例如，手绘彩色笔触）的忠实度与合成图像的真实感。现有的基于GAN的方法试图通过条件GAN或GAN反演来实现这种平衡，但这具有挑战性，且通常需要为单个应用提供额外的训练数据或损失函数。为了解决这些问题，我们引入了一种新的图像合成与编辑方法，即随机微分编辑（SDEdit），该方法基于扩散模型生成先验，通过随机微分方程（SDE）迭代去噪来合成逼真图像。给定一幅带有任意类型用户引导的输入图像，SDEdit首先向输入添加噪声，然后通过SDE先验对所得图像进行去噪，以增加其真实感。SDEdit不需要特定任务的训练或反演，并能自然地实现真实感与忠实度之间的平衡。根据一项人类感知研究，在包括基于笔触的图像合成与编辑以及图像合成在内的多项任务上，SDEdit在真实感上显著优于最先进的基于GAN的方法，提升幅度高达98.09%，在总体满意度评分上提升高达91.72%。
引用
@article{arxiv.2108.01073,
title = {SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations},
author = {Chenlin Meng and Yutong He and Yang Song and Jiaming Song and Jiajun Wu and Jun-Yan Zhu and Stefano Ermon},
journal= {arXiv preprint arXiv:2108.01073},
year = {2022}
}
备注
https://sde-image-editing.github.io/