F$^{2}$-NeRF：基于快速神经辐射场训练与自由相机轨迹的方法
计算机视觉与模式识别
2023-03-29 v1 图形学
摘要
本文提出一种名为 F2-NeRF（Fast-Free-NeRF）的基于网格的 NeRF，用于新视角合成，其支持任意输入相机轨迹且训练仅需数分钟。现有的基于网格的快速 NeRF 训练框架，如 Instant-NGP、Plenoxels、DVGO 或 TensoRF，主要针对有界场景设计，并依赖空间扭曲来处理无界场景。现有的两种广泛使用的空间扭曲方法仅针对前向轨迹或 360 度以物体为中心轨迹设计，无法处理任意轨迹。本文深入分析了处理无界场景的空间扭曲机制。基于我们的分析，我们进一步提出一种称为透视扭曲（perspective warping）的新空间扭曲方法，使得我们能在基于网格的 NeRF 框架中处理任意轨迹。大量实验表明，F2-NeRF 能够使用相同的透视扭曲在两个标准数据集和我们收集的一个新自由轨迹数据集上渲染高质量图像。项目页面：https://totoro97.github.io/projects/f2-nerf。
引用
@article{arxiv.2303.15951,
title = {F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories},
author = {Peng Wang and Yuan Liu and Zhaoxi Chen and Lingjie Liu and Ziwei Liu and Taku Komura and Christian Theobalt and Wenping Wang},
journal= {arXiv preprint arXiv:2303.15951},
year = {2023}
}
备注
CVPR 2023. Project page: https://totoro97.github.io/projects/f2-nerf