CMID：一种面向遥感图像理解的统一自监督学习框架
计算机视觉与模式识别
2023-08-07 v2
摘要
自监督学习（SSL）因能够在无需人工标注标签的情况下学习任务无关的表示，而在遥感（RS）与地球观测（EO）领域获得了广泛关注。然而，现有大多数遥感自监督学习方法仅限于学习全局语义可分或局部空间可感知的表示之一。我们认为这种学习策略在遥感领域是次优的，因为不同遥感下游任务所需的表示往往多样且复杂。在本研究中，我们提出了一种更适用于遥感图像表示学习的统一自监督学习框架。所提出的 SSL 框架——对比掩码图像蒸馏（CMID）——通过将对比学习（CL）与掩码图像建模（MIM）以自蒸馏方式结合，能够学习兼具全局语义可分性与局部空间可感知性的表示。此外，我们的 CMID 学习框架与架构无关，兼容卷积神经网络（CNN）与视觉Transformer（ViT），使得 CMID 可轻松适配于多种面向遥感理解的深度学习（DL）应用。我们在四个下游任务（即场景分类、语义分割、目标检测和变化检测）上进行了全面实验，结果表明使用 CMID 预训练的模型在多个下游任务上优于其他最先进（SOTA）的 SSL 方法。代码与预训练模型将发布于 https://github.com/NJU-LHRS/official-CMID，以促进 SSL 研究并加速遥感图像 DL 应用的发展。
引用
@article{arxiv.2304.09670,
title = {CMID: A Unified Self-Supervised Learning Framework for Remote Sensing Image Understanding},
author = {Dilxat Muhtar and Xueliang Zhang and Pengfeng Xiao and Zhenshi Li and Feng Gu},
journal= {arXiv preprint arXiv:2304.09670},
year = {2023}
}
备注
Accepted by IEEE TGRS. The codes and models are released at https://github.com/NJU-LHRS/official-CMID