BRDF-NeRF: 结合光学卫星图像与BRDF建模的神经辐射场
计算机视觉与模式识别
2024-09-27 v3
摘要
神经辐射场（NeRF）因作为一种机器学习技术来表示3D场景和从多个图像中估计双向反射分布函数（BRDF）而日益流行。然而，大多数现有研究都集中在近距离图像上，通常使用简化的微面BRDF模型来建模场景表面，这些模型常常不足以表示复杂的地球表面。此外，NeRF方法通常需要大量同时捕获的图像才能实现高质量的表面深度重建——这在卫星影像中很少见。为克服这些挑战，我们引入BRDF-NeRF，纳入基于物理的半经验式Rahman-Pinty-Verstraete（RPV）BRDF模型，已知能更好地捕捉自然表面的反射特性。此外，我们提出引导式体积抽样和深度监督，以实现仅用最少视角进行辐射场建模。我们在两个卫星数据集上评估了该方法：（1）Djibouti，在固定太阳位置下于单个历元内以不同观察角度捕获；（2）Lanzhou，在不同历元内以不同太阳位置和观察角度捕获。仅使用3至4张卫星图像进行训练，BRDF-NeRF成功地从未见角度合成新视角，并生成高质量的数字地表模型（DSM）。
引用
@article{arxiv.2409.12014,
title = {BRDF-NeRF: Neural Radiance Fields with Optical Satellite Images and BRDF Modelling},
author = {Lulin Zhang and Ewelina Rupnik and Tri Dung Nguyen and Stéphane Jacquemoud and Yann Klinger},
journal= {arXiv preprint arXiv:2409.12014},
year = {2024}
}