面向高光谱显著目标检测的频谱驱动混频网络
计算机视觉与模式识别
2023-12-05 v1
摘要
高光谱显著目标检测(HSOD)旨在检测高光谱图像(HSI)中具有光谱显著性的目标。然而，现有方法要么将 HSI 转换为伪彩色图像，要么将神经网络与聚类相结合，未能充分利用光谱信息。我们提出了一种新方法，通过从光谱中提取两个不同的频率分量：低频光谱显著性和高频光谱边缘，来充分利用光谱特征。光谱显著性近似于显著目标的区域，而光谱边缘捕获显著目标的边缘信息。这两个对 HSOD 至关重要的互补分量，分别通过计算高斯金字塔的层间光谱角距离和邻域内光谱角梯度导出。为了有效利用这种双频信息，我们引入了一种新型轻量级频谱驱动混频网络(SMN)。SMN 包含两个无参数的即插即用算子，即光谱显著性生成器和光谱边缘算子，以从输入 HSI 中独立提取光谱显著性和光谱边缘分量。随后，由两个频率相关头组成的混频注意力模块智能地结合边缘和显著性信息的嵌入特征，从而产生混频特征表示。此外，显著性边缘感知解码器逐步放大混频特征，同时保留丰富的细节和显著性信息，以实现准确的显著目标预测。在 HS-SOD 基准和我们的自定义数据集 HSOD-BIT 上进行的大量实验表明，我们的 SMN 在 HSOD 性能方面优于现有最先进的方法。代码和数据集将可在 https://github.com/laprf/SMN 获取。
引用
@article{arxiv.2312.01060,
title = {Spectrum-driven Mixed-frequency Network for Hyperspectral Salient Object Detection},
author = {Peifu Liu and Tingfa Xu and Huan Chen and Shiyun Zhou and Haolin Qin and Jianan Li},
journal= {arXiv preprint arXiv:2312.01060},
year = {2023}
}
备注
Accepted by IEEE Transactions on Multimedia, to be published