OmniLocalRF：从动态视频中合成全向局部辐射场
计算机视觉与模式识别
2024-04-02 v1 图形学
摘要
全向相机被广泛应用于各种应用中以提供宽广的视野。然而，由于其宽广视野中不可避免地存在动态物体（包括摄影师本身），它们在合成新视角时面临挑战。在本文中，我们引入了一种名为全向局部辐射场的新方法，该方法能够渲染仅含静态场景的视角，同时移除并修复动态物体。我们的方法结合了局部辐射场原理与全向光线的双向优化。我们的输入是全向视频，我们评估前一帧与当前帧之间整个角度的相互观测。为了减少动态物体的重影伪影并修复遮挡区域，我们设计了一个多分辨率运动掩码预测模块。与主要通过时域分离动态组件的现有方法不同，我们的方法使用多分辨率神经特征平面进行精确分割，这更适合长 360 度视频。我们的实验验证了 OmniLocalRF 在定性和定量指标上均优于现有方法，特别是在具有复杂真实世界场景的情况下。特别是，我们的方法消除了手动交互（如手绘运动掩码）和额外姿态估计的需要，使其成为一种高效且有效的解决方案。
引用
@article{arxiv.2404.00676,
title = {OmniLocalRF: Omnidirectional Local Radiance Fields from Dynamic Videos},
author = {Dongyoung Choi and Hyeonjoong Jang and Min H. Kim},
journal= {arXiv preprint arXiv:2404.00676},
year = {2024}
}