基于轻量级光谱注意力网络的无监督光谱去马赛克
图像与视频处理
2023-07-06 v1 计算机视觉与模式识别
摘要
本文提出了一种以无监督方式训练、基于深度学习的光谱去马赛克技术。许多现有的基于深度学习、依赖合成图像进行监督学习的技术，在真实世界图像上往往表现不佳，尤其当光谱波段数量增加时。根据光谱马赛克图像的特性，本文提出了马赛克损失函数、相应的模型结构、变换策略和早停策略，构成了一个完整的无监督光谱去马赛克框架。真实世界光谱去马赛克中的一个挑战是模型参数与成像设备计算资源之间的不一致。我们通过将光谱注意力张量划分为空间维度的光谱注意力矩阵和通道维度的光谱注意力向量，降低了光谱注意力模块的复杂度和参数量，使其更适用于无监督框架。本文还提出了Mosaic25，一个包含各种物体、光照和材料的真实25波段高光谱马赛克图像数据集，用于基准测试。在合成和真实世界数据集上的大量实验表明，所提方法在空间失真抑制、光谱保真度、鲁棒性和计算成本方面优于传统的无监督方法。
引用
@article{arxiv.2307.01990,
title = {Unsupervised Spectral Demosaicing with Lightweight Spectral Attention Networks},
author = {Kai Feng and Yongqiang Zhao and Seong G. Kong and Haijin Zeng},
journal= {arXiv preprint arXiv:2307.01990},
year = {2023}
}