AnySat: 一个适用于多种分辨率、尺度和模态的地球观测模型
计算机视觉与模式识别
2025-05-12 v3
摘要
地理空间模型必须适应地球观测数据在分辨率、尺度和模态方面的多样性。然而，现有方法期望固定的输入配置，这限制了它们的实际适用性。我们提出了AnySat，一个基于联合嵌入预测架构（JEPA）和尺度自适应空间编码器的多模态模型，允许我们以自监督方式在高度异构的数据上训练单个模型。为了展示这种统一方法的优势，我们编译了GeoPlex，一个包含5个具有不同特征的多模态数据集和11个不同传感器的集合。然后，我们同时在多个不同数据集上训练一个强大的模型。经过微调或线性探测后，我们在GeoPlex的测试集以及6个外部数据集上，针对各种环境监测任务（土地覆盖制图、树种识别、作物类型分类、变化检测、气候类型分类以及洪水、烧伤疤痕和森林砍伐分割）达到了最先进的结果。代码和模型可在https://github.com/gastruc/AnySat获取。
引用
@article{arxiv.2412.14123,
title = {AnySat: One Earth Observation Model for Many Resolutions, Scales, and Modalities},
author = {Guillaume Astruc and Nicolas Gonthier and Clement Mallet and Loic Landrieu},
journal= {arXiv preprint arXiv:2412.14123},
year = {2025}
}