OmnimatteRF：基于 3D 背景建模的鲁棒 Omnimatte
计算机视觉与模式识别
2023-09-15 v1
摘要
视频抠像具有广泛应用，从为随意拍摄的电影添加有趣效果，到辅助视频制作专业人士。带有阴影和反射等相关效果的抠像也吸引了越来越多的研究活动，诸如 Omnimatte 等方法被提出，将感兴趣的动态前景对象分离到各自的图层中。然而，先前工作将视频背景表示为 2D 图像图层，限制了其表达更复杂场景的能力，从而阻碍了在真实世界视频中的应用。在本文中，我们提出一种新颖的视频抠像方法 OmnimatteRF，它结合了动态 2D 前景图层与 3D 背景模型。2D 图层保留了主体的细节，而 3D 背景则鲁棒地重建真实世界视频中的场景。大量实验表明，我们的方法在各种视频上以更高质量重建场景。
引用
@article{arxiv.2309.07749,
title = {OmnimatteRF: Robust Omnimatte with 3D Background Modeling},
author = {Geng Lin and Chen Gao and Jia-Bin Huang and Changil Kim and Yipeng Wang and Matthias Zwicker and Ayush Saraf},
journal= {arXiv preprint arXiv:2309.07749},
year = {2023}
}
备注
ICCV 2023. Project page: https://omnimatte-rf.github.io/