RORem：基于人类在环的鲁棒目标移除训练方法
计算机视觉与模式识别
2025-04-16 v3
摘要
尽管取得了显著进展，现有目标移除方法仍在目标移除不完整、内容合成错误以及合成区域模糊方面存在问题，导致成功率较低。这些问题主要由缺乏高质量配对训练数据，以及所采用方法的自监督训练范式导致——后者迫使模型填充被遮盖区域，从而在合成被遮盖目标与恢复背景之间产生歧义。在针对这些问题的同时，我们提出一种以人类在环为导师的半监督学习策略，以创建高质量配对训练数据，旨在训练鲁棒目标移除器(RORem)。我们首先从开源数据集收集6万对训练样本，用于训练初始目标移除模型以生成移除样本，然后利用人类反馈筛选出一组高质量目标移除配对样本，对其进行训练以训练判别器，以自动化后续训练数据生成过程。通过迭代多轮，最终获得了规模超过20万对的大量目标移除数据集。使用该数据集对预训练的稳定扩散模型进行微调，我们获得了我们的RORem模型，该模型在可靠性和图像质量方面均表现出领先的目标移除性能。特别地，RORem在目标移除成功率方面比以往方法提高了18%以上。数据集、源代码和训练好的模型均已公开于https://github.com/leeruibin/RORem。
引用
@article{arxiv.2501.00740,
title = {RORem: Training a Robust Object Remover with Human-in-the-Loop},
author = {Ruibin Li and Tao Yang and Song Guo and Lei Zhang},
journal= {arXiv preprint arXiv:2501.00740},
year = {2025}
}