预测梯度更优：基于联合嵌入预测架构探索 SAR 自动目标识别的自监督学习
计算机视觉与模式识别
2024-09-27 v6 图像与视频处理
摘要
不断增长的合成孔径雷达（SAR）数据有潜力通过自监督学习（SSL）方法构建基础模型，该模型可借助大规模无标签数据预训练与小样本有标签微调来完成各类 SAR 自动目标识别（ATR）任务。SSL 旨在直接从数据中构建监督信号，从而最小化对昂贵专家标注的需求，并最大化利用不断扩充的数据池以构建基础模型。本研究探究了一种面向 SAR ATR 的有效 SSL 方法，可为 SAR ATR 的基础模型铺平道路。SAR ATR 中 SSL 面临的主要障碍是遥感中的小目标与 SAR 图像中的散斑噪声，分别对应 SSL 的方法与信号。为克服这些挑战，我们提出一种新颖的 SAR ATR 联合嵌入预测架构（SAR-JEPA），其利用局部掩码块来预测未见上下文的多尺度 SAR 梯度表示。SAR-JEPA 的关键在于融合 SAR 领域特征，以确保高质量的自监督信号作为目标特征。此外，我们采用局部掩码与多尺度特征来适应遥感中各类小目标。通过在三个目标识别数据集（车辆、舰船与飞机）上微调与评估我们的框架，并以另外四个数据集作为预训练，我们证明了其优于其他 SSL 方法，且随 SAR 数据增加而更加有效。本研究展示了 SSL 在跨不同目标、场景与传感器的 SAR 目标识别中的潜力。我们的代码与权重见 \url{https://github.com/waterdisappear/SAR-JEPA。
引用
@article{arxiv.2311.15153,
title = {Predicting Gradient is Better: Exploring Self-Supervised Learning for SAR ATR with a Joint-Embedding Predictive Architecture},
author = {Weijie Li and Yang Wei and Tianpeng Liu and Yuenan Hou and Yuxuan Li and Zhen Liu and Yongxiang Liu and Li Liu},
journal= {arXiv preprint arXiv:2311.15153},
year = {2024}
}
备注
15 pages, 7 figures,