中文

基于 NeRF 集成模型的密度不确定性量化:数据与场景约束的影响

计算机视觉与模式识别 2025-02-26 v1

摘要

在计算机图形学、计算机视觉与摄影测量领域,神经辐射场(Neural Radiance Fields, NeRFs)是当前研究与开发的重要主题。然而,NeRF 生成的三维场景重建及后续表面重建的质量在很大程度上依赖于网络输出,尤其是密度。针对这一关键方面,我们提出利用 NeRF 集成模型(NeRF-Ensembles),在提供平均密度的同时给出密度不确定性估计。我们证明,低质量图像与位姿等数据约束会导致训练过程退化、密度不确定性增加以及预测密度下降。即便输入数据质量较高,密度不确定性仍会因采集构型、遮挡与材质属性等场景约束而变化。NeRF 集成模型不仅提供不确定性量化工具,还展现出两项有前景的优势:增强的鲁棒性与伪影去除。通过使用 NeRF 集成模型替代单一 NeRF,可去除小的离群点,从而获得更平滑且结构完整性更高的输出。此外,对密度不确定性离群点应用基于百分位的阈值,在后处理中可有效去除大型(雾状)伪影。我们在三个不同的数据集上开展实验:(i) 合成基准数据集,(ii) 真实基准数据集,(iii) 在现实采集条件与传感器下获取的真实数据。

关键词

引用

@article{arxiv.2312.14664,
  title  = {Density Uncertainty Quantification with NeRF-Ensembles: Impact of Data and Scene Constraints},
  author = {Miriam Jäger and Steven Landgraf and Boris Jutzi},
  journal= {arXiv preprint arXiv:2312.14664},
  year   = {2025}
}

备注

21 pages, 12 figures, 5 tables