深度监督 NeRF：以免费方式减少视图数量并加速训练
计算机视觉与模式识别
2024-10-18 v3 图形学
机器学习
摘要
神经辐射场（NeRF）一个常见的失败模式是在输入视图数量不足时拟合出错误的几何结构。一个潜在原因是标准体渲染未强制约束大多数场景几何由空旷空间和不透明表面组成。我们通过 DS-NeRF（深度监督神经辐射场）将上述假设形式化，这是一种利用现成深度监督学习辐射场的损失。我们借助当前 NeRF 流程需要具有已知相机位姿的图像这一事实，而这些位姿通常通过运动恢复结构（SFM）估计。关键在于，SFM 还产生稀疏三维点，可在训练期间用作“免费”的深度监督：我们添加一项损失以促使一条射线的终止深度分布与给定三维关键点匹配，并纳入深度不确定性。DS-NeRF 在更少训练视图下能渲染更好图像，同时训练速度加快 2-3 倍。此外，我们表明我们的损失与其他近期提出的 NeRF 方法兼容，证明深度是一种廉价且易消化的监督信号。最后，我们发现 DS-NeRF 可支持其他类型的深度监督，如扫描深度传感器和 RGB-D 重建输出。
引用
@article{arxiv.2107.02791,
title = {Depth-supervised NeRF: Fewer Views and Faster Training for Free},
author = {Kangle Deng and Andrew Liu and Jun-Yan Zhu and Deva Ramanan},
journal= {arXiv preprint arXiv:2107.02791},
year = {2024}
}
备注
Project page: http://www.cs.cmu.edu/~dsnerf/ GitHub: https://github.com/dunbar12138/DSNeRF