基于双通道卷积网络与卷积LSTM分层空间-光谱特征融合的多光谱全色锐化
图像与视频处理
2020-07-21 v1 多媒体
摘要
多光谱全色锐化旨在通过融合全色(PAN)图像与相应的多光谱(MS)图像,在空间与光谱域同时生成高分辨率(HR)多光谱(MS)图像。本文提出一种新颖的双通道网络(DCNet)框架用于MS全色锐化。在DCNet中,双通道骨干包含一个以2D CNN捕获空间信息的空间通道,以及一个以3D CNN提取光谱信息的光谱通道。这种异构2D/3D CNN架构可最大程度避免常规2D CNN模型中典型出现的光谱信息失真。为充分整合从不同层级捕获的空间与光谱特征,我们引入一种多级融合策略。具体而言,提出一种空间-光谱CLSTM(S-CLSTM)模块用于融合分层空间与光谱特征,其能有效捕获多级特征间的相关性。S-CLSTM模块包含两种融合方式:通过双向横向连接的层内融合,以及通过S-CLSTM中单元状态的层间融合。最后,由重建模块恢复出理想的HR-MS图像。我们在模拟的较低尺度及真实世界数据集的原始尺度上进行了大量实验。与最先进(state-of-the-art)方法相比,所提DCNet取得了更优或具竞争力的性能。
引用
@article{arxiv.2007.10060,
title = {Multispectral Pan-sharpening via Dual-Channel Convolutional Network with Convolutional LSTM Based Hierarchical Spatial-Spectral Feature Fusion},
author = {Dong Wang and Yunpeng Bai and Ying Li},
journal= {arXiv preprint arXiv:2007.10060},
year = {2020}
}