中文

FlexiEdit:频率感知的潜在微调以增强非刚性编辑

计算机视觉与模式识别 2024-07-26 v1

摘要

当前图像编辑方法主要利用 DDIM 逆转,采用两分支扩散方法以保留原始图像的属性和布局,但在处理涉及改变图像布局或结构的非刚性编辑时面临挑战。我们的全面分析表明,DDIM 潜在空间的高频分量——对于保留原始图像关键特征和布局至关重要——显著贡献于这些限制。为此,本文引入 FlexiEdit,通过在目标编辑区域降低高频分量来细化 DDIM 潜在空间,从而提高对输入文本提示的忠实度。FlexiEdit 包含两个关键组件:(1)潜在空间微调,用于更好地适应布局调整;(2)通过重新逆转实现编辑忠实度增强,旨在确保编辑更准确地反映输入文本提示。我们的方法在图像编辑领域取得显著进展,尤其是在执行复杂的非刚性编辑方面,实验结果显示其增强的能力。

关键词

引用

@article{arxiv.2407.17850,
  title  = {FlexiEdit: Frequency-Aware Latent Refinement for Enhanced Non-Rigid Editing},
  author = {Gwanhyeong Koo and Sunjae Yoon and Ji Woo Hong and Chang D. Yoo},
  journal= {arXiv preprint arXiv:2407.17850},
  year   = {2024}
}

备注

ECCV 2024