FBINeRF：基于特征的针对针孔和鱼眼神经辐射场的集成循环网络
计算机视觉与模式识别
2024-08-06 v1
摘要
针对神经辐射场（NeRF）用于优化和捆绑调整相机姿态的先前研究，如BARF和DBARF，已展示了在3D场景重建方面的惊人能力。然而，这些方法设计用于针对针孔相机的姿态优化，对径向畸变（如鱼眼相机中的畸变）表现不佳。此外，DBARF中不准确的深度初始化导致错误的几何信息影响整体收敛和结果质量。本文提出了适应径向畸变的自适应GRU，并采用特征基方法的循环神经网络，用于从鱼眼数据集生成连续的新视角。其他针对鱼眼图像的NeRF方法，如SCNeRF和OMNI-NeRF，使用投射射线距离损失进行畸变姿态细化，导致严重的伪影、渲染时间长，且在下游任务中使用困难，因为需要将由NeRF方法生成的稠密体素表示转换为网格表示。我们也通过添加基于MiDaS的深度先验来解决深度初始化问题。通过大量实验，我们展示了FBINeRF的泛化能力，并为针对针孔相机和鱼眼相机的NeRF显示出高保真度的结果。
引用
@article{arxiv.2408.01878,
title = {FBINeRF: Feature-Based Integrated Recurrent Network for Pinhole and Fisheye Neural Radiance Fields},
author = {Yifan Wu and Tianyi Cheng and Peixu Xin and Janusz Konrad},
journal= {arXiv preprint arXiv:2408.01878},
year = {2024}
}
备注
18 pages