MonoNeRF：从单目视频中学习无需相机位姿的泛化式 NeRF
计算机视觉与模式识别
2023-06-06 v2 机器学习
机器人学
摘要
我们提出一种可泛化的神经辐射场——MonoNeRF，它可以在大规模静态场景中移动的单目视频上进行训练，且不需要深度和相机位姿的任何真实标注。MonoNeRF 采用基于自编码器的架构，其中编码器估计单目深度和相机位姿，解码器基于深度编码器特征构建多平面 NeRF 表示，并利用估计的相机渲染输入帧。学习由重建误差监督。一旦模型被学习，它可应用于多个任务，包括深度估计、相机位姿估计和单图像新视角合成。更多定性结果见：https://oasisyang.github.io/mononerf。
引用
@article{arxiv.2210.07181,
title = {MonoNeRF: Learning Generalizable NeRFs from Monocular Videos without Camera Pose},
author = {Yang Fu and Ishan Misra and Xiaolong Wang},
journal= {arXiv preprint arXiv:2210.07181},
year = {2023}
}
备注
ICML 2023 camera ready version. Project page: https://oasisyang.github.io/mononerf