MSI-NeRF：通过多球面图像辅助的可泛化神经辐射场连接全景深度与视图合成
机器人学
2024-11-05 v3 计算机视觉与模式识别
摘要
使用鱼眼相机的全景观测在虚拟现实（VR）和机器人感知中具有重要意义。然而，传统方法合成的全景图像缺乏深度信息，并且在 VR 应用中只能提供三自由度（3DoF）旋转渲染。为了充分保留和利用原始鱼眼相机内的视差信息，我们引入了 MSI-NeRF，它结合了深度学习全向深度估计和新视图合成。我们通过输入图像的特征提取和扭曲操作，构建了一个多球面图像作为代价卷。我们进一步使用空间点和插值后的 3D 特征向量作为输入来构建隐式辐射场，从而可以同时实现全向深度估计和 6DoF 视图合成。利用深度估计任务中的知识，我们的方法可以仅通过源视图监督来学习场景外观。它不需要新的目标视图，并且可以方便地在现有的全景深度估计数据集上进行训练。我们的网络具有仅使用四张图像即可高效重建未知场景的泛化能力。实验结果表明，我们的方法在深度估计和新视图合成任务中均优于现有方法。
引用
@article{arxiv.2403.10840,
title = {MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field},
author = {Dongyu Yan and Guanyu Huang and Fengyu Quan and Haoyao Chen},
journal= {arXiv preprint arXiv:2403.10840},
year = {2024}
}
备注
10 pages, 9 figures, Accepted to IEEE/CVF Winter Conference on Applications of Computer Vision