NeVRF：面向长时间序列的基于神经视频的辐射场
计算机视觉与模式识别
2023-12-12 v1
摘要
将神经辐射场(NeRF)应用于长时间动态序列一直具有挑战性。现有方法难以在质量和存储大小之间取得平衡，并且在处理复杂场景变化（如拓扑变化和大运动）时遇到困难。为了解决这些问题，我们提出了一种新颖的基于神经视频的辐射场(NeVRF)表示。NeVRF将神经辐射场与基于图像的渲染相结合，以支持长时间动态内向场景的照片级真实感新视角合成。我们引入了一种新颖的多视角辐射混合方法，直接从多视角视频预测辐射。通过结合持续学习技术，NeVRF可以高效地从序列数据中重建帧，而无需重新访问之前的帧，从而实现长时间自由视点视频。此外，通过定制的压缩方法，NeVRF可以紧凑地表示动态场景，使动态辐射场在现实场景中更加实用。我们的广泛实验证明了NeVRF在实现长时间序列渲染、序列数据重建和紧凑数据存储方面的有效性。
引用
@article{arxiv.2312.05855,
title = {NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences},
author = {Minye Wu and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2312.05855},
year = {2023}
}
备注
11 pages, 12 figures