利用卫星图像将季节与太阳特性融入 NeRF 架构生成的渲染图

得益于 Shadow NeRF 与 Sat-NeRF，已可在基于 NeRF 的框架中考虑太阳角度，利用卫星图像训练并从新视角渲染场景。我们的工作扩展了这些贡献，展示了如何使渲染图具有季节特异性。我们的主要挑战是创建一个神经辐射场(NeRF)，它能独立于视角与太阳角度渲染季节特征，同时仍能渲染阴影。我们通过引入另一个输入变量——一年中的时间，教导网络渲染季节特征。然而，卫星影像典型的微小训练数据集会在某特定季节每张图像相同位置均存在阴影的情况下引入歧义。我们向损失函数添加额外项，以阻止网络利用季节特征来解释阴影。我们在包含 Maxar WorldView-3 卫星所捕获图像的八个感兴趣区域上展示了网络性能。该评估包括测试我们框架准确渲染新视图、生成高度图、预测阴影以及将季节特征独立于阴影进行指定的能力。我们的消融研究证明了网络设计参数选择的合理性。