DaRF：通过单目深度自适应从稀疏输入提升辐射场
计算机视觉与模式识别
2023-09-26 v2
摘要
神经辐射场（NeRF）在新视角合成和三维几何重建中展现出强大性能，但当已知视点数量大幅减少时，其性能会严重下降。现有工作试图通过引入外部先验来克服该问题，但其成功仅限于某些类型的场景或数据集。采用在大规模 RGB-D 数据集上预训练、具有强大泛化能力的单目深度估计（MDE）网络将是解决此问题的关键：然而，由于单目深度表现出的各种模糊性问题，将 MDE 与 NeRF 结合使用带来了一系列新挑战。有鉴于此，我们提出一种名为 D"aRF 的新框架，通过在线互补训练结合 NeRF 与单目深度估计的优势，仅用少量真实世界图像即可实现鲁棒的 NeRF 重建。我们的框架在已见和未见视点都将 MDE 网络强大的几何先验施加于 NeRF 表示，以增强其鲁棒性和一致性。此外，我们通过块级尺度-偏移拟合与几何蒸馏克服了单目深度的模糊性问题，使 MDE 网络适应以生成与 NeRF 几何精确对齐的深度。实验表明我们的框架在定量和定性上均达到最先进水平（SOTA），在室内和室外真实世界数据集中均展现出一致可靠的性能。项目页面见 https://ku-cvlab.github.io/DaRF/。
引用
@article{arxiv.2305.19201,
title = {DaRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation},
author = {Jiuhn Song and Seonghoon Park and Honggyu An and Seokju Cho and Min-Seop Kwak and Sungjin Cho and Seungryong Kim},
journal= {arXiv preprint arXiv:2305.19201},
year = {2023}
}
备注
To appear at NeurIPS 2023. Project Page: https://ku-cvlab.github.io/DaRF/