基于多光谱与SAR图像的不变表示自监督学习
计算机视觉与模式识别
2022-09-09 v2
摘要
自监督学习（SSL）已成为若干领域分类与分割任务中的新SOTA方法。其中，SSL中一类流行的方法是如BYOL之类的蒸馏网络。本工作提出RSDnet，将蒸馏网络（BYOL）应用于遥感（RS）领域，该领域数据与自然RGB图像有本质不同。由于多光谱（MS）与合成孔径雷达（SAR）传感器提供不同的光谱与空间分辨率信息，我们将其用作隐式增强以学习不变特征嵌入。为通过SSL学习基于RS的不变特征，我们以两种方式训练RSDnet，即单通道特征学习与三通道特征学习。本工作探索了从随机MS与SAR波段进行单通道特征学习相对于使用三个或更多波段的常见观念的有用性。在我们的线性评估中，这些单通道特征在EuroSAT分类任务上达到0.92的F1分数，在DFC分割任务上对某些单波段达到59.6 mIoU。我们还将结果与ImageNet权重比较，表明基于RS的SSL模型优于有监督的基于ImageNet的模型。我们进一步探索了多模态数据相对于单模态数据的有用性，结果表明利用MS与SAR数据比仅利用MS数据学习到更好的不变表示。
引用
@article{arxiv.2205.02049,
title = {Self-Supervised Learning for Invariant Representations from Multi-Spectral and SAR Images},
author = {Pallavi Jain and Bianca Schoen-Phelan and Robert Ross},
journal= {arXiv preprint arXiv:2205.02049},
year = {2022}
}
备注
Manuscript Accepted at IEEE JSTAR