SPECIAL: 基于CLIP的零样态 hyperspectral 图像分类
计算机视觉与模式识别
2025-12-24 v3
摘要
hyperspectral 图像(HSI)分类旨在将HSI中每个像元分类到特定的地表覆盖类别，对于遥感、环境监测和农业等应用至关重要。尽管深度学习方法在HSI分类方面取得了显著进展，但现有方法仍依赖手动标注数据进行训练，这既耗时又费力。为此，本文提出一种基于CLIP的零样态 hyperspectral 图像分类框架(SPECIAL)，旨在消除对手动标注的需求。SPECIAL框架包含两个主要阶段：(1)基于CLIP的伪标签生成，(2)噪声标签学习。在第一个阶段，HSI经光谱插值以生成RGB波段。随后使用CLIP对这些波段进行分类，生成伪标签并附带置信度分数。为提高标签质量，我们提出一种尺度融合策略，将来自多个空间尺度的预测进行融合。在第二个阶段，融合光谱信息和标签细化技术，以缓解标签噪声并进一步提高分类准确度。在三个基准数据集上的实验结果表明，SPECIAL在零样态HSI分类方面优于现有方法，展示了其在更实际应用中的潜力。代码已公开于 https://github.com/LiPang/SPECIAL。
引用
@article{arxiv.2501.16222,
title = {SPECIAL: Zero-shot Hyperspectral Image Classification With CLIP},
author = {Li Pang and Jing Yao and Kaiyu Li and Jun Zhou and Deyu Meng and Xiangyong Cao},
journal= {arXiv preprint arXiv:2501.16222},
year = {2025}
}