Erase Diffusion：通过校准扩散路径赋能目标物体移除
计算机视觉与模式识别
2025-03-17 v1 人工智能
摘要
擦除图像修复，即目标物体移除，旨在精确移除掩码区域内的目标物体，同时保持周围内容的整体一致性。尽管基于扩散的方法在图像修复领域取得了重大进展，但在意外物体或伪影的出现方面仍存在挑战。我们断言，现有标准优化范式建立的不精确扩散路径限制了目标移除的效果。为了应对这些挑战，我们提出了一种新颖的 Erase Diffusion，称为 EraDiff，旨在释放标准扩散在目标移除背景下的潜在能力。与标准扩散不同，EraDiff 适应了优化范式和网络，以提高擦除结果的连贯性和消除效果。我们首先引入了链校正优化（CRO）范式，这是一种专门设计以符合擦除目标的复杂扩散过程。该范式建立了创新的扩散转移路径，模拟优化过程中物体的逐渐消除，使模型能够准确捕捉物体移除的意图。此外，为了减轻采样路径中由伪影引起的偏差，我们开发了一种简单而有效的自校正注意力（SRA）机制。SRA 通过改变自注意力激活来校准采样路径，使模型能够有效绕过伪影，同时进一步增强生成内容的连贯性。凭借这种设计，我们提出的 EraDiff 在 OpenImages V5 数据集上取得了 SOTA 性能，并在真实场景中展现出显著的优越性。
引用
@article{arxiv.2503.07026,
title = {Erase Diffusion: Empowering Object Removal Through Calibrating Diffusion Pathways},
author = {Yi Liu and Hao Zhou and Wenxiang Shang and Ran Lin and Benlei Cui},
journal= {arXiv preprint arXiv:2503.07026},
year = {2025}
}
备注
accepted by CVPR 2025