探索多时间步多阶段扩散特征用于高光谱图像分类
计算机视觉与模式识别
2024-06-04 v2
摘要
光谱-空间特征学习的有效性对高光谱图像（HSI）分类任务至关重要。扩散模型作为一类突破性生成模型新范式，能够从独特时间步维度学习上下文语义与纹理细节，从而建模HSI中复杂的光谱-空间关系。然而，现有基于扩散的HSI分类方法仅利用人工选择的单时间步单阶段特征，限制了对扩散模型中丰富上下文语义与纹理信息的充分探索与利用。为解决此问题，我们首次提出一种基于扩散的特征学习框架，探索用于HSI分类的多时间步多阶段扩散特征，称为MTMSD。具体而言，首先用无标签HSI块预训练扩散模型以挖掘无标签数据内涵，随后用于提取多时间步多阶段扩散特征。为有效且高效地利用多时间步多阶段特征，进一步提出两种策略。其一为面向类别与时间步的多阶段特征纯化模块，利用类间与时间步间先验降低多阶段特征冗余并缓解内存约束。其二为在全局特征引导下的选择性时间步特征融合模块，自适应选择不同时间步特征以整合纹理与语义。两种策略均提升了MTMSD框架对不同HSI数据多样模式的通用性与适应性。在四个公开HSI数据集上的大量实验表明，我们的方法优于HSI分类的SOTA方法，尤其在具挑战性的Houston 2018数据集上。
引用
@article{arxiv.2306.08964,
title = {Exploring Multi-Timestep Multi-Stage Diffusion Features for Hyperspectral Image Classification},
author = {Jingyi Zhou and Jiamu Sheng and Jiayuan Fan and Peng Ye and Tong He and Bin Wang and Tao Chen},
journal= {arXiv preprint arXiv:2306.08964},
year = {2024}
}