psPRF：用于广义3D重建卫星影像的 pansharpening Planar Neural Radiance Field
计算机视觉与模式识别
2024-06-25 v1
摘要
目前大多数面向卫星的NeRF变体都设计用于特定场景，难以泛化到新几何。此外，RGB影像需要作为独立的预处理步骤进行 PAN 细化。本文介绍了psPRF，即一种针对卫星传感器中成对的低分辨率RGB (LR-RGB) 和高分辨率 Panchromatic (HR-PAN) 影像的Planar Neural Radiance Field，采用理性多项式摄像机 (RPC)。为捕捉来自LR-RGB和HR-PAN影像的跨模态先验知识，针对UNet结构的架构，我们采用带显式光谱到空间卷积 (SSConv) 的编码器，以增强多模态表征能力。为支持psRPF在不同场景中的泛化能力，我们采用投影损失以确保强几何自监督。本方法使用多场景的WorldView-3 LR-RGB和HR-PAN配对进行评估，实现了业界最佳性能。
引用
@article{arxiv.2406.15707,
title = {psPRF:Pansharpening Planar Neural Radiance Field for Generalized 3D Reconstruction Satellite Imagery},
author = {Tongtong Zhang and Yuanxiang Li},
journal= {arXiv preprint arXiv:2406.15707},
year = {2024}
}