基于自监督学习和掩码对称ViT的SAR特征提取器SAFE
计算机视觉与模式识别
2024-07-02 v1 图像与视频处理
摘要
由于合成孔径雷达图像具有全天候和昼夜工作能力，合成孔径雷达图像对于灾害管理、地球监测、变化检测和目标识别等各种应用至关重要。然而，标注SAR数据稀缺限制了大多数深度学习算法的性能。为此，我们提出一种基于掩码对称Vision Transformer的自监督学习框架，以创建通用SAR特征提取器SAFE。该方法利用对比学习原理在无标签SAR数据上训练模型，提取稳健且可泛化的特征。SAFE适用于多种SAR获取模式和分辨率。我们引入了特定于SAR图像的定制数据增强技术，如子孔径分解和去噪。在各种下游任务上的全面评估，包括few-shot分类、分割、可视化和模式检测，都表明了该方法的有效性和多样性。我们的网络在few-shot分类和分割任务中与或超过其他SOTA方法，尽管没有针用于评估的传感器进行训练。
引用
@article{arxiv.2407.00851,
title = {SAFE: a SAR Feature Extractor based on self-supervised learning and masked Siamese ViTs},
author = {Max Muzeau and Joana Frontera-Pons and Chengfang Ren and Jean-Philippe Ovarlez},
journal= {arXiv preprint arXiv:2407.00851},
year = {2024}
}