由少至多：面向高光谱人脸超分辨率的谱拆分与聚合网络
计算机视觉与模式识别
2022-04-13 v2
摘要
高分辨率(HR)高光谱人脸图像在不受控条件下的人脸相关计算机视觉任务（如低光照环境与欺骗攻击）中具有重要作用。然而，高光谱人脸图像密集的光谱波段以平均到达窄光谱窗口的光子数量有限为代价，这极大降低了高光谱人脸图像的空间分辨率。本文研究如何将深度学习技术适配于高光谱人脸图像超分辨率(HFSR)，尤其在训练样本极少时。受益于大量光谱波段（每波段可视作一幅图像），我们提出一种用于小训练样本HFSR的谱拆分与聚合网络(SSANet)。在浅层，我们将高光谱图像拆分为不同光谱组；随后在更深层逐步聚合相邻波段以利用光谱相关性。通过此谱拆分与聚合策略(SSAS)，我们可将原始高光谱图像划分为多个样本（由少至多）以支持网络高效训练，并有效利用光谱间的相关性。为应对小训练样本量(S3)问题的挑战，我们提出用自表示模型与对称性诱导增广来扩充训练样本。实验表明SSANet能很好建模空间与光谱信息的联合相关性；通过扩充训练样本，SSANet可有效缓解S3问题。
引用
@article{arxiv.2108.13584,
title = {From Less to More: Spectral Splitting and Aggregation Network for Hyperspectral Face Super-Resolution},
author = {Junjun Jiang and Chenyang Wang and Xianming Liu and Kui Jiang and Jiayi Ma},
journal= {arXiv preprint arXiv:2108.13584},
year = {2022}
}
备注
2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)