用于一致图像编辑的免调优反演增强控制
计算机视觉与模式识别
2023-12-25 v1
摘要
真实图像的一致编辑是一项具有挑战性的任务，因为它要求在不改变输入图像中主要对象的身份或属性的情况下，对其进行非刚性编辑（例如改变姿势）。为保证属性一致性，一些现有方法微调整个模型或文本嵌入以实现结构一致性，但它们耗时且无法执行非刚性编辑。其他工作虽是免调优的，但其性能受限于去噪扩散隐式模型 (DDIM) 重建的质量，而这在现实场景中往往失败。本文提出了一种称为免调优反演增强控制 (TIC) 的新方法，该方法直接将反演过程中的特征与采样过程中的特征相关联，以缓解 DDIM 重建中的不一致性。具体而言，我们的方法有效地从自注意力层的键和值特征中获取反演特征，并利用这些反演特征增强采样过程，从而实现准确的重建和内容一致的编辑。为了将我们方法的适用性扩展到一般编辑场景，我们还提出了一种掩码引导的注意力拼接策略，该策略结合了反演过程和朴素 DDIM 编辑过程中的内容。实验表明，所提出的方法在重建和一致编辑方面优于以往的工作，并在各种设置中产生了令人印象深刻的结果。
引用
@article{arxiv.2312.14611,
title = {Tuning-Free Inversion-Enhanced Control for Consistent Image Editing},
author = {Xiaoyue Duan and Shuhao Cui and Guoliang Kang and Baochang Zhang and Zhengcong Fei and Mingyuan Fan and Junshi Huang},
journal= {arXiv preprint arXiv:2312.14611},
year = {2023}
}