NeuralDiff：分割第一视角视频中运动的3D物体

给定一段由自由移动相机拍摄的原始视频序列，我们研究将所观测的3D场景分解为静态背景与包含视频序列中运动物体的动态前景的问题。该任务令人联想到经典的背景减除问题，但显著更难，因为场景的所有部分（静态与动态）均因相机的大视角变化而产生巨大的视在运动。我们特别考虑第一视角视频，并进一步将动态分量分离为物体与观测并移动它们的执行者。我们通过一个三流神经渲染网络重建视频来实现此种分解，该网络基于相应的归纳偏置解释不同运动。我们证明，我们的方法能成功分离不同类型的运动，在此任务上优于近期神经渲染基线，并能准确分割运动物体。我们通过在EPIC-KITCHENS数据集上具挑战性的视频进行实证评估来实现这一点，我们为该数据集增补适当标注，以构建用于无约束视频序列上动态物体分割任务（面向复杂3D环境）的新基准。