中文

Eta 反向:用于基于扩散的实时图像编辑的最优 Eta 函数设计

计算机视觉与模式识别 2024-07-16 v2

摘要

扩散模型在文本引导图像生成领域取得了显著的成功,最近也在文本引导图像编辑中取得了进展。常用的编辑实时图像的方法是通过反向扩散过程获取原图像的噪声表示,然后进行去噪以实现所需的编辑。然而,当前的扩散反向方法往往难以产生既忠实于指定文本提示又与源图像高度相似的编辑结果。为克服这些限制,我们引入一种新型且灵活的实时图像编辑扩散反向技术,基于对 η\eta 在 DDIM 采样方程中作用的理论分析,以实现更好的可编辑性。通过设计一种具有时序和区域依赖性的通用扩散反向方法,我们实现了对编辑范围的灵活控制。通过一系列量化和质性评估,包括与一系列最新方法的比较,我们展示了我们方法的优越性。我们的 method 不仅在该领域树立了新的基准,而且显著优于现有策略。

关键词

引用

@article{arxiv.2403.09468,
  title  = {Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing},
  author = {Wonjun Kang and Kevin Galim and Hyung Il Koo},
  journal= {arXiv preprint arXiv:2403.09468},
  year   = {2024}
}

备注

ECCV 2024. Code: https://github.com/furiosa-ai/eta-inversion