TerraFM：面向统一多传感器地球观测的可扩展基础模型
计算机视觉与模式识别
2025-06-09 v1
摘要
现代地球观测（EO）正越来越多地利用深度学习来利用卫星影像在不同传感器和地区的规模与多样性。尽管近期基础模型在 EO 任务上表现出有前景的泛化能力，但许多模型受限于其训练数据的规模、地理覆盖范围和光谱多样性，这些因素对于学习全局可迁移表示至关重要。本文介绍了 TerraFM，一个可扩展的自监督学习模型，利用全球分布的 Sentinel-1 和 Sentinel-2 影像，结合大范围空间瓦片和以土地覆盖为导向的抽样，以丰富空间和语义覆盖。通过将感知模态视为自监督方法中的自然增强，我们通过模态特定的 patch 嵌入和自适应跨注意力融合，统一雷达和光学输入。我们的训练策略整合了局部-全局对比学习，引入双中心化机制，包含基于类频率的正则化，以解决土地覆盖中的长尾分布。TerraFM 在分类和分割任务上实现了强大的泛化能力，净显著优于 GEO-Bench 和 Copernicus-Bench 上的先前模型。我们的代码和预训练模型可在：https://github.com/mbzuai-oryx/TerraFM 查看。
引用
@article{arxiv.2506.06281,
title = {TerraFM: A Scalable Foundation Model for Unified Multisensor Earth Observation},
author = {Muhammad Sohail Danish and Muhammad Akhtar Munir and Syed Roshaan Ali Shah and Muhammad Haris Khan and Rao Muhammad Anwer and Jorma Laaksonen and Fahad Shahbaz Khan and Salman Khan},
journal= {arXiv preprint arXiv:2506.06281},
year = {2025}
}