面向稳健高光谱图像分类的标签语义
计算机视觉与模式识别
2025-10-10 v1 人工智能
机器学习
摘要
高光谱图像（HSI）分类是一种在农业、环境监测、医疗和材料科学等多个领域广泛应用的关键工具。由于高质量训练样本稀缺以及光谱数据的高维性，HSI分类模型容易出现过拟合，常面临准确率与计算复杂度之间的挑战。此外，大多数HSI分类模型都是单模态的，仅依赖光谱-空间数据来学习高维嵌入空间中的决策边界。为此，我们提出了一种通用方法——语义光谱-空间融合网络（Semantic Spectral-Spatial Fusion Network, S3FN），其利用上下文、类别特定的文本描述来补充HSI分类模型的训练。具体而言，S3FN利用大语言模型（LLM）为每个类别标签生成全面的文本描述，以捕捉其独特特征和光谱行为。这些描述随后通过预训练文本编码器（如BERT或RoBERTa）嵌入到向量空间中，从而提取有意义的标签语义，进而实现更好的特征-标签对齐，以提升分类性能。为证明方法有效性，我们在三个多样化的HSI基准数据集上对模型进行评估——高光谱木材、高光谱蓝莓和DeepHS-水果——并报告了显著的性能提升。我们的结果凸显了文本语义与光谱-空间数据之间的协同作用，为进一步发展语义增强型HSI分类模型指明了道路。代码已公开：https://github.com/milab-nsu/S3FN
引用
@article{arxiv.2510.07556,
title = {Label Semantics for Robust Hyperspectral Image Classification},
author = {Rafin Hassan and Zarin Tasnim Roshni and Rafiqul Bari and Alimul Islam and Nabeel Mohammed and Moshiur Farazi and Shafin Rahman},
journal= {arXiv preprint arXiv:2510.07556},
year = {2025}
}
备注
This work has been accepted for publication in the proceedings of IJCNN 2025