注意力共享中的恶魔:通过注意力协同改进复杂非刚性图像编辑的忠实性
计算机视觉与模式识别
2025-12-18 v2
摘要
训练自由的图像编辑已变得实用,但对复杂非刚性编辑(如姿态或形状变化)的忠实执行仍高度具有挑战性。我们识别出关键原因:现有注意力共享机制中存在注意力坍缩,无论是位置嵌入还是语义特征主导视觉内容检索,导致过度编辑或不足编辑。为此,我们引入了 SynPS 方法,通过协同利用位置嵌入和语义信息来实现非刚性图像编辑的忠实性。我们首先提出一种编辑度量,用于量化每个去噪步骤中所需的编辑幅度。基于此度量,我们设计了注意力协同管道,动态调制位置嵌入的影响,使 SynPS 能够平衡语义修改与保真度保持。通过自适应整合位置和语义线索,SynPS 有效避免了过度和不足编辑。大量实验在公开和新构建的基准测试上表明,我们的方法在性能和忠实性方面具有优势。
引用
@article{arxiv.2512.14423,
title = {The Devil is in Attention Sharing: Improving Complex Non-rigid Image Editing Faithfulness via Attention Synergy},
author = {Zhuo Chen and Fanyue Wei and Runze Xu and Jingjing Li and Lixin Duan and Angela Yao and Wen Li},
journal= {arXiv preprint arXiv:2512.14423},
year = {2025}
}
备注
Project page:https://synps26.github.io/