用于动态场景新视角合成的前向流
计算机视觉与模式识别
2023-10-02 v1
摘要
本文提出一种利用前向扭曲（forward warping）进行动态场景新视角合成的神经辐射场（NeRF）方法。现有方法常采用静态 NeRF 表示规范空间，并通过将采样的 3D 点利用学习的后向流场映射回规范空间来渲染其他时间步的动态图像。然而，此后向流场非平滑且不连续，难以被常用平滑运动模型拟合。为解决该问题，我们提出估计前向流场并直接将规范辐射场扭曲至其他时间步。此类前向流场在物体区域内平滑且连续，利于运动模型学习。为实现此目标，我们用体素网格表示规范辐射场以支持高效前向扭曲，并提出一个可微扭曲过程，包括平均泼溅（average splatting）操作与修复网络，以解决多对一与一对多映射问题。充分实验表明，我们的方法在新视角渲染与运动建模上均优于现有方法，证明了前向流运动建模的有效性。项目主页：https://npucvr.github.io/ForwardFlowDNeRF
引用
@article{arxiv.2309.17390,
title = {Forward Flow for Novel View Synthesis of Dynamic Scenes},
author = {Xiang Guo and Jiadai Sun and Yuchao Dai and Guanying Chen and Xiaoqing Ye and Xiao Tan and Errui Ding and Yumeng Zhang and Jingdong Wang},
journal= {arXiv preprint arXiv:2309.17390},
year = {2023}
}
备注
Accepted by ICCV2023 as oral. Project page: https://npucvr.github.io/ForwardFlowDNeRF