SUNDIAL: 通过直接、环境与复杂光照分解的3D卫星理解
计算机视觉与模式识别
2023-12-29 v1
摘要
从卫星图像进行3D建模在环境科学、城市规划、农业和灾害响应等领域至关重要。然而，传统的3D建模技术在遥感背景下面临独特挑战，包括大范围区域上有限的多视角基线、变化的直接、环境和复杂光照条件，以及跨捕获的时间变化场景。在这项工作中，我们引入了SUNDIAL，一种利用神经辐射场进行卫星图像3D重建的综合方法。我们在这种单一模型方法中联合学习卫星场景几何、光照分量和太阳方向，并提出了一种二次阴影光线投射技术，以1）利用倾斜太阳角度渲染阴影来改善场景几何，2）实现场景反照率和光照的基于物理的解耦，3）确定来自直接、环境（天空）和复杂光源的光照分量。为此，我们在神经渲染方法中融入了遥感文献中的光照线索和几何先验，模拟卫星场景的物理属性，如阴影、散射的天空光照以及植被和水体的复杂光照和着色。我们评估了SUNDIAL与现有基于NeRF的卫星场景建模技术的性能，并在具有小基线、稀疏输入和可变光照的挑战性场景中展示了改进的场景和光照解耦、新颖视角和光照渲染以及几何和太阳方向估计。
引用
@article{arxiv.2312.16215,
title = {SUNDIAL: 3D Satellite Understanding through Direct, Ambient, and Complex Lighting Decomposition},
author = {Nikhil Behari and Akshat Dave and Kushagra Tiwary and William Yang and Ramesh Raskar},
journal= {arXiv preprint arXiv:2312.16215},
year = {2023}
}
备注
8 pages, 6 figures