FusionRF：基于多光谱和混合光谱获取的卫星神经辐射场高保真重建
计算机视觉与模式识别
2025-11-06 v3 图像与视频处理
摘要
我们介绍FusionRF，这是一种用于从卫星多光谱和混合光谱图像进行数字表面重建的新型框架。当前工作已证明，神经测量法在从光学卫星图像进行表面重建方面优于算法方法。常规卫星同时产生混合光谱图像和多光谱图像，分别包含高空间信息和高光谱信息。当前的神经重建方法需要对多光谱图像进行混合光谱化处理，以利用混合光谱图像中的空间数据。然而，这些方法可能因领域差距引入偏差和幻觉。FusionRF通过一种新型的跨分辨率核学习来实现图像融合，以解决多光谱图像中存在的空间分辨率损失。作为输入，FusionRF接受原始的多光谱和混合光谱数据，无需图像预处理。FusionRF还利用多模态外观嵌入，在统一的表示中编码每种模态和视角的图像特征。通过同时优化两种模态，FusionRF学习在执行重建任务的同时融合图像模态，无需混合光谱化预处理步骤。我们在WorldView-3卫星的多光谱和混合光谱图像上进行评估（来自多个位置），显示FusionRF在深度重建误差上平均降低17%，并呈现锐利的训练视图和新视图。
引用
@article{arxiv.2409.15132,
title = {FusionRF: High-Fidelity Satellite Neural Radiance Fields from Multispectral and Panchromatic Acquisitions},
author = {Michael Sprintson and Rama Chellappa and Cheng Peng},
journal= {arXiv preprint arXiv:2409.15132},
year = {2025}
}