RANRAC：基于随机射线共识的鲁棒神经场景表示
计算机视觉与模式识别
2024-04-22 v2
摘要
基于学习的场景表示（如神经辐射场或光场网络）依赖于将场景模型拟合至图像观测，当图像中存在由遮挡、相机参数估计不准确或镜头眩光等效应导致的不一致时，通常会遇到挑战。为了应对这一挑战，我们引入了随机射线共识（RANRAC），这是一种消除不一致数据影响的高效方法，其灵感来源于用于模型拟合的经典基于 RANSAC 的离群点检测。与基于鲁棒损失公式降低离群点影响的方法不同，我们的方法能够可靠地检测并排除不一致的视角，从而生成无悬浮伪影的干净图像。为此，我们构建了 RANSAC 范式的模糊自适应，使其能够应用于大规模模型。我们将确定模型参数的最小样本数解释为可调超参数，研究了利用数据驱动模型生成假设的过程，并分析了在噪声环境下的假设验证。我们展示了该解决方案在基于神经辐射场的真实图像逼真鲁棒多视图重建以及基于光场网络的单次重建中的兼容性与潜力。特别地，结果表明，在包含遮挡、噪声相机位姿估计和失焦视角等各种不一致性的合成场景与拍摄场景中，相较于现有 SOTA 鲁棒方法，本方法在新视角合成上取得了显著提升。结果进一步表明，在针对含遮挡图像的单次重建中也取得了显著改善。项目页面：https://bennobuschmann.com/ranrac/
引用
@article{arxiv.2312.09780,
title = {RANRAC: Robust Neural Scene Representations via Random Ray Consensus},
author = {Benno Buschmann and Andreea Dogaru and Elmar Eisemann and Michael Weinmann and Bernhard Egger},
journal= {arXiv preprint arXiv:2312.09780},
year = {2024}
}