基于多视角视频的神经3D视频合成
计算机视觉与模式识别
2022-05-04 v2 图形学
摘要
我们提出了一种新颖的3D视频合成方法，能够以紧凑而富有表现力的表示来刻画动态真实场景的多视角视频记录，从而实现高质量视角合成与运动插值。我们的方法将静态神经辐射场的优质与紧凑特性推向一个新的方向：无模型的动态设定。我们方法的核心是一个新颖的时间条件神经辐射场，其利用一组紧凑的潜码来表示场景动态。通过一种新颖的分层训练方案结合光线重要性采样，我们能够显著提升生成图像的训练速度与感知质量。我们学到的表示极为紧凑，仅用28MB的模型大小即可表示由18台相机拍摄的10秒30 FPS多视角视频记录。我们展示了即便对于复杂动态场景，我们的方法也能以超过1K分辨率渲染高保真广角新视角。我们进行了广泛的定性与定量评估，表明我们的方法优于当前最优(state of the art)。项目主页：https://neural-3d-video.github.io/。
引用
@article{arxiv.2103.02597,
title = {Neural 3D Video Synthesis from Multi-view Video},
author = {Tianye Li and Mira Slavcheva and Michael Zollhoefer and Simon Green and Christoph Lassner and Changil Kim and Tanner Schmidt and Steven Lovegrove and Michael Goesele and Richard Newcombe and Zhaoyang Lv},
journal= {arXiv preprint arXiv:2103.02597},
year = {2022}
}
备注
Accepted as an oral presentation for CVPR 2022. Project website: https://neural-3d-video.github.io/