PANGAEA：一个面向地理空间基础模型的全球包容性基准
计算机视觉与模式识别
2025-05-01 v2
摘要
地理空间基础模型 (GFMs) 已成为从地球观测数据中提取表征的强大工具，但其评估仍然不一致且范围狭窄。现有工作通常在次优的下游数据集和任务上进行评估，这些任务往往过于简单或过于狭窄，限制了评估在评估 GFM 现实世界适用性方面的有效性。此外，当前的评估协议明显缺乏多样性，未能考虑图像分辨率、传感器类型和时间性的多样性，这进一步复杂化了 GFM 性能的评估。特别是，大多数现有基准在地理上偏向北美和欧洲，这质疑了 GFM 的全球适用性。为了克服这些挑战，我们引入了 PANGAEA，这是一个标准化的评估协议，涵盖了多样化的数据集、任务、分辨率、传感器模态和时间性。它为 GFM 建立了一个稳健且广泛适用的基准。我们在此基准上评估了最流行的公开可用 GFM，并分析了它们在多个领域的性能。特别是，我们将这些模型与监督基线（例如 UNet 和 vanilla ViT）进行了比较，并评估了它们在面对有限标记数据时的有效性。我们的发现突出了 GFM 在不同场景下的局限性，表明它们并非始终优于监督模型。PANGAEA 被设计为高度可扩展，允许在未来研究中无缝纳入新的数据集、模型和任务。通过发布评估代码和基准，我们旨在使其他研究人员能够复现我们的实验并在我们的工作基础上进行构建，从而为大型预训练地理空间模型建立一个更规范的评估协议。代码可在 https://github.com/VMarsocci/pangaea-bench 获取。
引用
@article{arxiv.2412.04204,
title = {PANGAEA: A Global and Inclusive Benchmark for Geospatial Foundation Models},
author = {Valerio Marsocci and Yuru Jia and Georges Le Bellier and David Kerekes and Liang Zeng and Sebastian Hafner and Sebastian Gerard and Eric Brune and Ritu Yadav and Ali Shibli and Heng Fang and Yifang Ban and Maarten Vergauwen and Nicolas Audebert and Andrea Nascetti},
journal= {arXiv preprint arXiv:2412.04204},
year = {2025}
}