基于加速迭代扩散反演的有效真实图像编辑
计算机视觉与模式识别
2023-09-12 v1 人工智能
摘要
尽管近期取得了诸多进展,利用现代生成模型编辑和操控自然图像仍具挑战性。在使用生成对抗网络 (GAN) 时,一个主要障碍在于将真实图像映射至其潜空间对应噪声向量的反演过程,因为必须能重建图像才能编辑其内容。类似地,对于去噪扩散隐式模型 (DDIM),各反演步骤中的线性化假设使整个确定性反演过程不可靠。现有解决反演稳定性问题的方法往往在计算效率上付出显著权衡。本工作中我们提出一种称为 AIDI 的加速迭代扩散反演方法,以极小额外空间与时间复杂度开销显著提升了重建精度。通过使用一种新颖的混合引导技术,我们表明无需在反演中使用大的无分类器引导,即可在大量图像编辑任务上获得有效结果。此外,与其他基于扩散反演的工作相比,我们所提过程在 10 和 20 扩散步机制下对快速图像编辑表现出更强鲁棒性。
引用
@article{arxiv.2309.04907,
title = {Effective Real Image Editing with Accelerated Iterative Diffusion Inversion},
author = {Zhihong Pan and Riccardo Gherardi and Xiufeng Xie and Stephen Huang},
journal= {arXiv preprint arXiv:2309.04907},
year = {2023}
}
备注
Accepted to ICCV 2023 (Oral)