面向跨场景高光谱图像分类的语言感知域泛化网络
计算机视觉与模式识别
2023-02-08 v1
摘要
高光谱图像分类（HSI）任务中包含大量土地覆盖类别先验知识的文本信息被忽略了。有必要探索语言模式在辅助HSI分类中的有效性。此外，大规模预训练图像-文本基础模型在各种下游应用中展现出卓越性能，包括零样迁移。然而，大多数域泛化方法从未针对提高模型泛化性能而开发挖掘语言模态知识。为补足上述不足，提出了一种语言感知域泛化网络（LDGnet），用于从跨域共享的先验知识中学习跨域不变表示。该方法仅在源域（SD）上训练，然后将模型迁移到目标域（TD）。采用包含图像编码器和文本编码器的双流架构来提取视觉和语言特征，其中设计了粗粒度和细粒度文本表征，以提取两种层次的语言特征。进而将语言特征用作跨域共享语义空间，通过语义空间中的监督对比学习完成视觉-语言对齐。在三个数据集上的大量实验表明，与当前最先进的技术相比，所提方法具有优势。
引用
@article{arxiv.2209.02700,
title = {Language-aware Domain Generalization Network for Cross-Scene Hyperspectral Image Classification},
author = {Yuxiang Zhang and Mengmeng Zhang and Wei Li and Shuai Wang and Ran Tao},
journal= {arXiv preprint arXiv:2209.02700},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2209.01634