MS-Net:一种用于 SAR 图像中飞机细粒度分类的多模态自监督网络
计算机视觉与模式识别
2023-08-29 v1
摘要
合成孔径雷达(SAR)成像技术通常用于提供全天候 24 小时地球观测。然而,其在 SAR 目标分类方面仍存在若干不足,尤其在飞机细粒度分类中: SAR 图像中的飞机具有较大的类内多样性和类间相似性;有效样本数量不足且难以标注。为解决这些问题,本文提出一种新颖的多模态自监督网络(MS-Net)用于飞机细粒度分类。首先,为充分挖掘多模态信息的潜力,构建了双侧路径特征提取网络(TSFE-N)以增强目标图像特征并获取文本模态的域知识特征。其次,采用对比自监督学习(CSSL)框架从不平衡数据中有效学习有用的无标签特征,并提出相似性感知损失(SPloss)以避免网络过拟合。最后,将 TSFE-N 用作 CSSL 的编码器以获得分类结果。通过大量实验,我们的 MS-Net 能有效降低相似机型分类难度。在无标签情况下,所提算法在 17 类飞机分类任务上达到 88.46% 的准确率,在 SAR 图像飞机细粒度分类领域具有开创性意义。
引用
@article{arxiv.2308.14613,
title = {MS-Net: A Multi-modal Self-supervised Network for Fine-Grained Classification of Aircraft in SAR Images},
author = {Bingying Yue and Jianhao Li and Hao Shi and Yupei Wang and Honghu Zhong},
journal= {arXiv preprint arXiv:2308.14613},
year = {2023}
}