基于光谱混合与异构数据集的高光谱图像超分辨率
计算机视觉与模式识别
2021-04-06 v2
摘要
本工作研究高光谱图像 (HSI) 超分辨率 (SR)。HSI SR 的特征是高维数据以及有限的训练样本数量。这加剧了神经网络的不期望行为，如过拟合和对分布外样本的敏感性。本工作通过三点贡献解决这些问题。首先，我们观察到 HSI SR 与 RGB 图像 SR 相关，并开发了一种新颖的多任务网络来联合训练它们，从而使辅助任务 RGB 图像 SR 能提供额外的监督。其次，我们提出了一种简单而有效的数据增强例程，称为 Spectral Mixup，以构建有效的虚拟训练样本来扩充训练集。最后，我们将网络扩展到半监督设置，使其能够从仅含低分辨率 HSI 的数据集学习。借助这些贡献，我们的方法能够从异构数据集学习，并解除对大量高分辨率 HSI 训练样本的需求。在四个标准数据集上的大量实验表明，我们的方法显著优于现有方法，并印证了我们贡献的相关性。代码已发布于 https://github.com/kli8996/HSISR。
引用
@article{arxiv.2101.07589,
title = {Hyperspectral Image Super-Resolution with Spectral Mixup and Heterogeneous Datasets},
author = {Ke Li and Dengxin Dai and Ender Konukoglu and Luc Van Gool},
journal= {arXiv preprint arXiv:2101.07589},
year = {2021}
}
备注
16 pages, 14 tables, 5 figures; Code available at https://github.com/kli8996/HSISR