以近端引导改进无调参真实图像编辑
计算机视觉与模式识别
2023-07-07 v3
摘要
DDIM 反演揭示了基于扩散方法的真实图像编辑的显著潜力。然而，随着用于增强编辑的分类器无关引导（CFG）尺度增大，DDIM 重建的精度会下降。Null-text 反演（NTI）优化空嵌入以在较大 CFG 尺度下对齐重建与反演轨迹，从而实现带交叉注意力控制的真实图像编辑。负提示反演（NPI）进一步提供了 NTI 的无训练闭式解。然而，它可能引入伪影，且仍受限于 DDIM 重建质量。为克服这些局限，我们提出近端引导并将其与带交叉注意力控制的 NPI 结合。我们以正则化项与重建引导增强 NPI，在利用其无训练特性的同时减少伪影。此外，我们扩展该概念以纳入互自注意力控制，使编辑过程中的几何与布局改变成为可能。我们的方法提供了一种高效且直接的方式，以最小计算开销有效解决真实图像编辑任务。
引用
@article{arxiv.2306.05414,
title = {Improving Tuning-Free Real Image Editing with Proximal Guidance},
author = {Ligong Han and Song Wen and Qi Chen and Zhixing Zhang and Kunpeng Song and Mengwei Ren and Ruijiang Gao and Anastasis Stathopoulos and Xiaoxiao He and Yuxiao Chen and Di Liu and Qilong Zhangli and Jindong Jiang and Zhaoyang Xia and Akash Srivastava and Dimitris Metaxas},
journal= {arXiv preprint arXiv:2306.05414},
year = {2023}
}
备注
Added inversion guidance, and fixed typos