中文

移动与动作:增强对象操控与背景完整性的图像编辑

计算机视觉与模式识别 2024-12-13 v2

摘要

当前方法常采用三分支结构(逆转、重构、编辑)以解决一致图像编辑任务,但缺乏对编辑对象生成位置的控制,且存在背景保留问题。为克服这些限制,我们提出一种无需调参的仅两分支方法:逆转与编辑。该方法使用户能够同时编辑对象的动作并控制编辑后对象的生成位置,同时实现更好的背景保留。具体而言,在逆转过程中,我们将编辑后对象的信息传递至目标区域,并在特定时间步 repair 或保留其他区域的背景;在编辑阶段,我们利用自注意力中的图像特征查询逆转过程中对应时间步的 key 和 value,以实现一致的图像编辑。实验结果表明,该方法在图像编辑效果和定量评估方面均表现优异。代码已公开于 https://github.com/mobiushy/move-act。

关键词

引用

@article{arxiv.2407.17847,
  title  = {Move and Act: Enhanced Object Manipulation and Background Integrity for Image Editing},
  author = {Pengfei Jiang and Mingbao Lin and Fei Chao},
  journal= {arXiv preprint arXiv:2407.17847},
  year   = {2024}
}

备注

Accepted by AAAI 2025