用于动态视角合成快速优化的神经可变形体素网格
计算机视觉与模式识别
2022-10-12 v2
摘要
近来，神经辐射场（NeRF）以其优越性能正在革新新视角合成（NVS）任务。本文中，我们提出合成动态场景。将静态场景方法扩展至动态场景并非易事，因为场景几何与外观随时间变化，尤其在单目设置下。此外，现有动态 NeRF 方法通常需要冗长的逐场景训练过程，其中多层感知机（MLP）被拟合以建模运动与辐射。本文基于近期体素网格优化的进展，提出一种处理动态场景的快速可变形辐射场方法。我们的方法包含两个模块。第一模块采用变形网格存储三维动态特征，并使用轻量 MLP 解码变形，该变形利用插值特征将观测空间中的三维点映射至规范空间。第二模块包含密度与颜色网格以建模场景的几何与密度。遮挡被显式建模以进一步提升渲染质量。实验结果表明，我们的方法仅用 20 分钟训练即取得与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，清晰展示了所提方法的效率。
引用
@article{arxiv.2206.07698,
title = {Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis},
author = {Xiang Guo and Guanying Chen and Yuchao Dai and Xiaoqing Ye and Jiadai Sun and Xiao Tan and Errui Ding},
journal= {arXiv preprint arXiv:2206.07698},
year = {2022}
}
备注
Technical Report: 29 pages; project page: https://npucvr.github.io/NDVG