遥感中的联合多模态自监督预训练：在甲烷源分类中的应用

随着当前深度学习方法在解决计算机视觉与遥感特定任务中的普及，对标注数据的需求不断增长。然而在许多情况下，标注过程可能漫长而繁琐，取决于进行可靠标注所需的专业知识。为缓解此标注需求，近期文献提出了若干自监督方法。这些方法的核心原理是仅使用无标注数据样本来学习图像编码器。在地球观测中，存在利用领域特定的遥感图像数据以改进这些方法的机遇。具体而言，通过利用与每幅图像关联的地理方位，可交叉引用由多个传感器捕获的同一位置，从而得到同一地点的多视角。在本文中，我们简要回顾所谓联合嵌入方法的核心原理，并研究在自监督预训练中使用多种遥感模态。我们在甲烷源分类任务上评估所得编码器的最终性能。