对象移除中的掩码一致性正则化
计算机视觉与模式识别
2025-09-15 v1
摘要
对象移除是图像填充中一个具有挑战性的任务，涉及 seamlessly 将被移除区域的内容填充，以匹配周围的上下文。尽管扩散模型取得了进展，当前方法仍面临两个关键挑战。第一个是掩码幻觉，即模型在掩码区域内生成无关或虚构的内容；第二个是掩码形状偏差，即模型以模仿掩码形状而非周围内容填充掩码区域。为解决这些问题，我们提出了一种名为 Mask Consistency Regularization（MCR）的新型训练策略，专为对象移除任务设计。在训练期间，我们的方法引入两种掩码扰动：膨胀和重塑，强制这些扰动分支的输出与原始掩码保持一致。膨胀掩码有助于将模型的输出与周围内容对齐，而重塑掩码则鼓励模型打破掩码形状偏差。这一组合策略使 MCR 能够产生更稳健且上下文连贯的填充结果。我们的实验表明，MCR 显著减少了幻觉和掩码形状偏差，导致对象移除性能得到改善。
引用
@article{arxiv.2509.10259,
title = {Mask Consistency Regularization in Object Removal},
author = {Hua Yuan and Jin Yuan and Yicheng Jiang and Yao Zhang and Xin Geng and Yong Rui},
journal= {arXiv preprint arXiv:2509.10259},
year = {2025}
}