非刚性神经辐射场：从单目视频重建动态场景并合成新视角
计算机视觉与模式识别
2021-08-24 v4 图形学
摘要
我们提出非刚性神经辐射场（NR-NeRF），一种面向一般非刚性动态场景的重建与新视角合成方法。我们的方法以动态场景的 RGB 图像（例如来自单目视频记录）作为输入，并创建高质量的时空几何与外观表示。我们表明，单个手持消费级相机即足以从新颖的虚拟相机视角合成动态场景的复杂绘制结果，例如“子弹时间”视频特效。NR-NeRF 将动态场景解耦为一个规范体及其形变。场景形变实现为光线弯曲，其中直线光线被非刚性地变形。我们还提出一种新颖的刚性网络以更好地约束场景的刚性区域，从而得到更稳定的结果。光线弯曲与刚性网络在无需显式监督的情况下进行训练。我们的公式支持跨视角与时间的稠密对应估计，以及引人注目的视频编辑应用，如运动夸张。我们的代码将开源。
引用
@article{arxiv.2012.12247,
title = {Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video},
author = {Edgar Tretschk and Ayush Tewari and Vladislav Golyanik and Michael Zollhöfer and Christoph Lassner and Christian Theobalt},
journal= {arXiv preprint arXiv:2012.12247},
year = {2021}
}
备注
Project page (incl. supplemental videos and code): https://vcai.mpi-inf.mpg.de/projects/nonrigid_nerf/ or https://gvv.mpi-inf.mpg.de/projects/nonrigid_nerf/