地球观测基础模型中的不确定性与泛化能力

我们从一个视角出发：希望在标注预算有限的情况下，为某个感兴趣区域（AOI）设计一个下游任务（例如估算植被覆盖率）。通过利用现有的基础模型（FM），我们必须决定是在一个不同但标签丰富的 AOI 上训练下游模型并希望其能泛化到我们的 AOI，还是在我们自己的 AOI 内划分标签用于训练和验证。无论哪种情况，我们都面临着选择使用哪个 FM、如何为标注采样我们的 AOI 等问题，这些都会影响结果的性能和不确定性。在这项工作中，我们使用八个现有的 FM，以 Sentinel 1 或 Sentinel 2 作为输入数据，并以 ESA World Cover 产品中的类别作为跨十一个 AOI 的下游任务，进行了一项大规模的消融研究。我们进行了重复采样和训练，最终对大约 50 万个简单的线性回归模型进行了消融分析。我们的结果显示了跨 AOI 空间泛化能力的局限性，也展示了 FM 的强大能力——在不同的芯片级预测任务上，我们能够获得预测值与目标值之间超过 0.9 的相关系数。尽管如此，性能与不确定性在不同 AOI、任务和 FM 之间差异很大。我们认为这是实践中的一个关键问题，因为每个 FM 和下游任务背后都有许多设计决策（输入模态、采样、架构、预训练等），而下游任务的设计者通常只了解并能决定其中的少数几个。通过这项工作，我们提倡使用本文所述的方法论（在参考全球标签和简单探针上进行大规模消融），无论是在发布新的 FM 时，还是在设计使用它们的下游任务以做出明智决策时。