NeRF 应用于卫星影像以进行地表重建
计算机视觉与模式识别
2023-04-19 v4 人工智能
机器学习
摘要
我们提出了 Surf-NeRF，这是近期提出的阴影神经辐射场（S-NeRF）模型的改进实现。该方法能够从场景的稀疏卫星图像集合中合成新视角，同时考虑图像中存在的光照变化。训练后的模型还可用于准确估计场景的地表高程，这通常是卫星观测应用中所期望获取的参量。S-NeRF 通过将辐射度视为反照率与辐照度的函数，改进了标准神经辐射场（NeRF）方法。这两个量均由模型的全连接神经网络分支输出，其中后者被视为来自太阳的直接光与来自天空的漫反射颜色的函数。实现过程在一个卫星图像数据集上运行，并使用缩放裁剪技术进行了数据增强。我们对 NeRF 进行了超参数研究，从而得出关于模型收敛性的有趣观察。最后，NeRF 与 S-NeRF 均训练至 100k 轮次，以充分拟合数据并给出其最佳预测。本文相关代码可在 https://github.com/fsemerar/surfnerf 获取。
引用
@article{arxiv.2304.04133,
title = {NeRF applied to satellite imagery for surface reconstruction},
author = {Federico Semeraro and Yi Zhang and Wenying Wu and Patrick Carroll},
journal= {arXiv preprint arXiv:2304.04133},
year = {2023}
}