DeepLight：利用多模态遥感数据重建高分辨率夜间灯光观测
计算机视觉与模式识别
2024-10-30 v3 图像与视频处理
摘要
夜间灯光 (NTL) 遥感观测可作为定量评估实现一系列可持续发展目标 (SDGs) 进展的独特代理指标，例如贫困估算、城市可持续发展和碳排放。然而，现有的 NTL 观测往往遭受普遍的退化和不一致性，限制了其用于计算 SDGs 定义的指标的效用。在本研究中，我们提出了一种利用多模态遥感数据重建高分辨率 NTL 图像的新方法。为了支持这项研究工作，我们引入了 DeepLightMD，这是一个包含来自五个异构传感器数据的综合数据集，在国家尺度上提供精细的空间分辨率和丰富的光谱信息。此外，我们提出了 DeepLightSR，这是一种校准感知方法，用于在多模态超分辨率中构建空间异构模态数据之间的桥梁。DeepLightSR 集成了校准感知对齐、辅助到主的多模态融合以及辅助嵌入细化，以有效解决空间异质性、融合多样化代表性特征，并在超分辨率 (SR) 任务中提升性能。大量实验证明了 DeepLightSR 优于 8 种竞争方法，体现在 PSNR（2.01 dB 13.25 dB）和 PIQE（0.49 9.32）的改进上。我们的发现强调了我们提出的数据集和模型在重建高分辨率 NTL 数据方面的实际意义，支持高效且定量地评估 SDG 进展。
引用
@article{arxiv.2402.15659,
title = {DeepLight: Reconstructing High-Resolution Observations of Nighttime Light With Multi-Modal Remote Sensing Data},
author = {Lixian Zhang and Runmin Dong and Shuai Yuan and Jinxiao Zhang and Mengxuan Chen and Juepeng Zheng and Haohuan Fu},
journal= {arXiv preprint arXiv:2402.15659},
year = {2024}
}
备注
This paper has been accepted in IJCAI 2024