面向光谱超分辨率的像素感知深度函数混合网络
计算机视觉与模式识别
2019-03-27 v1
摘要
光谱超分辨率（SSR）旨在从给定的RGB图像生成高光谱图像（HSI）。近来，SSR的一个有前景的方向是利用深度卷积神经网络从RGB图像学习到其HSI对应物的复杂映射函数。这本质上涉及将以每个像素为中心、特定尺寸的感知野内的RGB上下文映射到其在HSI中的光谱。其重点在于恰当确定感知野尺寸并建立从RGB上下文到相应光谱的映射函数。由于类别或空间位置的不同，HSI中的像素往往需要不同尺寸的感知野和不同的映射函数。然而，极少有研究明确利用这一先验。为解决该问题，我们提出了一种用于SSR的像素感知深度函数混合网络，其由一类称为函数混合（FM）块的新模块组成。每个FM块配备若干基函数，即不同尺寸感知野的并行子网络。此外，它引入一个额外的子网络作为混合函数以生成像素级权重，然后利用这些权重对所有基函数的输出进行线性混合。这使我们能够逐像素地确定感知野尺寸与映射函数。而且，我们堆叠若干个此类FM块以进一步增强网络在学习像素级映射时的灵活性。为促进特征复用，FM块生成的中间特征在后期阶段被融合，这被证明对提升SSR性能有效。在三个基准HSI数据集上的实验结果证明了所提方法的优越性。
引用
@article{arxiv.1903.10501,
title = {Pixel-aware Deep Function-mixture Network for Spectral Super-Resolution},
author = {Lei Zhang and Zhiqiang Lang and Peng Wang and Wei Wei and Shengcai Liao and Ling Shao and Yanning Zhang},
journal= {arXiv preprint arXiv:1903.10501},
year = {2019}
}