OmniEraser：使用配对视频帧数据删除图像中的物体及其效果
计算机视觉与模式识别
2025-03-12 v3
摘要
图像填充算法在去除图像中的物体方面取得了显著进展，但仍面临两个挑战：1）难以处理物体的视觉效果，如阴影和反射；2）容易生成类形痕迹和意外内容。本文提出了 Video4Removal，一个包含超过 100,000 个高质量样本的大型数据集，样本中包含真实的物体阴影和反射。通过使用面向商用的视觉模型从视频帧中构建物体-背景配对，显著降低了数据获取的劳动成本。为避免生成类形痕迹和意外内容，我们提出了 Object-Background Guidance，即一种采用前景物体和背景图像的精细化方法。它可以引导扩散过程以更丰富的上下文信息为特征生成。基于上述两种设计，我们提出了 OmniEraser，这是一种仅使用物体掩码作为输入即可无缝去除物体及其视觉效果的新方法。大量实验表明，OmniEraser 在复杂野外场景中显著优于先前方法，尤其擅长处理 anime 风格图像。数据集、模型和代码将进行公开发布。
引用
@article{arxiv.2501.07397,
title = {OmniEraser: Remove Objects and Their Effects in Images with Paired Video-Frame Data},
author = {Runpu Wei and Zijin Yin and Shuo Zhang and Lanxiang Zhou and Xueyi Wang and Chao Ban and Tianwei Cao and Hao Sun and Zhongjiang He and Kongming Liang and Zhanyu Ma},
journal= {arXiv preprint arXiv:2501.07397},
year = {2025}
}