基于分布驱动神经辐射场的动态场景可分离新视角合成
计算机视觉与模式识别
2023-01-12 v2
摘要
从随意拍摄的单目视频中表征并合成真实世界动态场景的新视角是一个长期存在的问题。现有方案通常借助几何技术或利用相邻几帧间的时间信息来处理动态场景，而未考虑整个场景的底层背景分布或沿光线维度的透射率，限制了其在静态与遮挡区域的表现。我们的方法——分布驱动神经辐射场（Distribution-Driven neural radiance fields）——提供了高质量的视角合成，以及将背景从整个动态场景中分离的 3D 方案，称为 D^4NeRF。具体而言，它采用一种神经表征捕捉静态背景中的场景分布，并采用 6D 输入的 NeRF 表征动态物体。每个光线采样点被赋予额外的遮挡权重以指示静态与动态分量中的透射率。我们在公开动态场景及从自动驾驶数据集获取的城市驾驶场景上评估 D^4NeRF。大量实验表明，我们的方法在渲染纹理细节与运动区域上优于以往方法，同时生成干净的静态背景。我们的代码将发布于 https://github.com/Luciferbobo/D4NeRF。
引用
@article{arxiv.2301.00411,
title = {Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields},
author = {Boyu Zhang and Wenbo Xu and Zheng Zhu and Guan Huang},
journal= {arXiv preprint arXiv:2301.00411},
year = {2023}
}