Attentive Eraser：通过自注意力重定向引导释放扩散模型的目标移除潜力
计算机视觉与模式识别
2025-09-23 v8
摘要
最近，扩散模型作为生成式模型领域的新星崭露头角，在图像生成中大放异彩。然而，当用于目标移除任务时，它们仍然面临一些问题，例如生成随机伪影，以及在移除后无法以前景目标区域填充合适的内容。为了解决这些问题，我们提出了 Attentive Eraser，一种免微调方法，赋予预训练扩散模型稳定且有效的目标移除能力。首先，鉴于自注意力图影响生成图像的结构和形状细节这一观察，我们提出了注意力激活与抑制（Attention Activation and Suppression, ASS），它根据给定的掩码重新设计预训练扩散模型内部的自注意力机制，从而在逆向生成过程中优先考虑背景而非前景目标。此外，我们引入了自注意力重定向引导（Self-Attention Redirection Guidance, SARG），利用被 ASS 重定向的自注意力来引导生成过程，在有效移除掩码内前景目标的同时，生成既合理又连贯的内容。实验表明，Attentive Eraser 在多种预训练扩散模型上的目标移除任务中表现出稳定性和有效性，甚至超越了基于训练的方法。此外，Attentive Eraser 可以在多种扩散模型架构和检查点中实现，具备出色的可扩展性。代码可在 https://github.com/Anonym0u3/AttentiveEraser 获取。
引用
@article{arxiv.2412.12974,
title = {Attentive Eraser: Unleashing Diffusion Model's Object Removal Potential via Self-Attention Redirection Guidance},
author = {Wenhao Sun and Benlei Cui and Xue-Mei Dong and Jingqun Tang},
journal= {arXiv preprint arXiv:2412.12974},
year = {2025}
}
备注
Accepted by AAAI 2025(Oral)