多块平铺神经辐射场（NeRF）——大规模航拍数据集上的几何评估
计算机视觉与模式识别
2024-06-07 v4
摘要
神经辐射场（NeRF）有潜力惠及包括航拍摄影测量在内的三维重建任务。然而，对于大规模航拍资产，推断几何的可扩展性与精度并未得到充分记录，因为此类数据集通常导致极高的内存消耗与缓慢的收敛速度。本文中，我们旨在将 NeRF 扩展至大规模航拍数据集，并提供对 NeRF 的详尽几何评估。具体而言，我们引入一种位置特定采样技术以及多相机平铺（MCT）策略，以降低图像加载时 RAM 的内存消耗、表征训练时 GPU 内存的消耗，并提升块内收敛速率。MCT 将大幅面图像分解为具有不同相机模型的多个平铺图像，使这些小幅面图像能按特定位置需要送入训练过程而不损失精度。我们在代表性方法 Mip-NeRF 上实现我们的方法，并在两个典型航拍数据集上对照 LiDAR 参考数据，将其几何性能与三条摄影测量 MVS 流水线进行比较。定性与定量结果均表明，所提 NeRF 方法比传统方法产生更好的完整性与物体细节，尽管截至目前其在精度上仍有不足。
引用
@article{arxiv.2310.00530,
title = {Multi-tiling Neural Radiance Field (NeRF) -- Geometric Assessment on Large-scale Aerial Datasets},
author = {Ningli Xu and Rongjun Qin and Debao Huang and Fabio Remondino},
journal= {arXiv preprint arXiv:2310.00530},
year = {2024}
}
备注
9 Figure