遥感跨传感器自监督训练与对齐
计算机视觉与模式识别
2025-06-25 v2
摘要
大规模「基础模型」正在成为利用每日收集的海量无标签遥感数据所采取的方法。然而，由于地球观测卫星的多样性，这些模型应当学习「传感器无关」的表征，从而在最小微调的情况下跨传感器特征进行泛化。这受数据可获得性的限制，低分辨率图像（如 Sentinel-2 和 Landsat-8 数据）可用量大，而非常高分辨率航空或卫星数据则较少。为解决这些挑战，我们引入跨传感器自监督训练与对齐用于遥感 (X-STARS)。我们设计了一种自监督训练损失函数——多传感器对齐稠密损失 (MSAD)，以对齐来自不同分辨率传感器的表征。我们的 X-STARS 可用于从头训练模型，也可用于将预训练于低分辨率遥感数据的大型模型适配到新的高分辨率传感器，作为持续预训练框架。我们收集并发布了 MSC-France 数据集，在此上训练我们的 X-STARS 模型，然后在七个下游分类和分割任务上进行评估。我们展示了 X-STARS 在各种数据可用性和分辨率条件下均显著优于最新方法。
引用
@article{arxiv.2405.09922,
title = {Cross-sensor self-supervised training and alignment for remote sensing},
author = {Valerio Marsocci and Nicolas Audebert},
journal= {arXiv preprint arXiv:2405.09922},
year = {2025}
}