ObjectDrop：用于逼真物体移除与插入的反事实自举方法
计算机视觉与模式识别
2024-03-28 v1
摘要
扩散模型彻底改变了图像编辑，但生成的图像常常违反物理规律，特别是物体对场景的影响，例如遮挡、阴影和反射。通过分析自监督方法的局限性，我们提出了一种以“反事实”数据集为核心的实用解决方案。我们的方法包括在移除单个物体前后捕捉场景，同时最小化其他变化。通过在该数据集上微调扩散模型，我们不仅能够移除物体，还能移除其对场景的影响。然而，我们发现将此方法应用于逼真物体插入需要不切实际的大规模数据集。为应对这一挑战，我们提出了自举监督；利用在小规模反事实数据集上训练的物体移除模型，我们大幅合成了并扩展了该数据集。我们的方法在逼真物体移除与插入方面显著优于现有方法，特别是在建模物体对场景的影响上。
引用
@article{arxiv.2403.18818,
title = {ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and Insertion},
author = {Daniel Winter and Matan Cohen and Shlomi Fruchter and Yael Pritch and Alex Rav-Acha and Yedid Hoshen},
journal= {arXiv preprint arXiv:2403.18818},
year = {2024}
}