用于全色锐化的三重双卷积神经网络
计算机视觉与模式识别
2021-12-07 v1 图像与视频处理
摘要
全色锐化是指将具有高空间分辨率的全色图像与具有低空间分辨率的多光谱图像进行融合，旨在获得高空间分辨率的多光谱图像。在本文中，我们提出了一种新颖的基于层级域损失函数的深度神经网络架构用于全色锐化，该架构考虑了以下双类型结构，即双层级、双分支和双方向，称为三重双网络（TDNet）。通过使用 TDNet 的结构，全色图像的空间细节可以被充分挖掘并利用，逐步注入到低空间分辨率的多光谱图像中，从而产生高空间分辨率输出。具体的网络设计受传统多分辨率分析（MRA）方法的物理公式启发。因此，一个有效的 MRA 融合模块也被集成到 TDNet 中。此外，我们采用少量 ResNet 块和一些多尺度卷积核来加深和加宽网络，以有效增强所提 TDNet 的特征提取能力和鲁棒性。在 WorldView-3、QuickBird 和 GaoFen-2 传感器获取的降分辨率和全分辨率数据集上的大量实验证明了所提 TDNet 相较于一些近期最先进（SOTA）全色锐化方法的优越性。消融研究也证实了所提方法的有效性。
引用
@article{arxiv.2112.02237,
title = {A Triple-Double Convolutional Neural Network for Panchromatic Sharpening},
author = {Tian-Jing Zhang and Liang-Jian Deng and Ting-Zhu Huang and Jocelyn Chanussot and Gemine Vivone},
journal= {arXiv preprint arXiv:2112.02237},
year = {2021}
}