D$^2$NeRF:基于单目视频的动态与静态目标自监督解耦
计算机视觉与模式识别
2022-11-08 v4
摘要
给定单目视频,在恢复静态环境的同时分割并解耦动态目标,是机器智能中一个被广泛研究的问题。现有解决方案通常在图像域处理该问题,限制了其性能和对环境的理解。我们提出解耦动态神经辐射场(DNeRF),一种自监督方法,其接收单目视频并学习将运动物体(包括其阴影)从静态背景中解耦的3D场景表示。我们的方法用两个独立的神经辐射场分别表示运动物体和静态背景,其中仅一个允许时间变化。该方法的朴素实现会导致动态分量取代静态分量,因为前者的表示本质上更具一般性且容易过拟合。为此,我们提出一种新颖的损失函数以促进现象的正确分离。我们进一步提出阴影场网络以检测并解耦动态运动的阴影。我们引入了一个包含各种动态物体和阴影的新数据集,并证明我们的方法在解耦动态与静态3D物体、遮挡与阴影去除以及运动物体图像分割方面优于state-of-the-art方法。
引用
@article{arxiv.2205.15838,
title = {D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video},
author = {Tianhao Wu and Fangcheng Zhong and Andrea Tagliasacchi and Forrester Cole and Cengiz Oztireli},
journal= {arXiv preprint arXiv:2205.15838},
year = {2022}
}