MMEarth-Bench：通过多模态测试时训练实现全局模型适应
计算机视觉与模式识别
2026-02-09 v1
摘要
最近的地理空间机器学习研究表明，基于自监督学习在地球观测数据上预训练的模型可以在数据有限的下游任务上表现良好。然而，大多数现有地理空间基准数据集的模态数量有限且全球表示不足，限制了在全球尺度上对多模态预训练模型进行评估的能力。为填补这一空白，我们引入 MMEarth-Bench，包含五个新的多模态环境任务、12 种模态、全球分布数据以及内外分布测试划分。我们对多样化的预训练模型进行基准测试，发现虽然（多模态）预训练倾向于在数据有限的设置下提高模型鲁棒性，但地理泛化能力仍然较差。为促进模型适应新下游任务和地理领域，我们提出了一种基于多模态重构的测试时训练（TTT-MMR）方法，该方法将测试时可用的所有模态作为辅助任务使用，无论预训练模型是否接受它们作为输入。我们的方法在随机和地理测试划分上均取得性能提升，地理分批处理在正则化和专业化之间实现良好平衡。我们的数据集、代码和可视化工具均链接于项目页面 lgordon99.github.io/mmearth-bench。
引用
@article{arxiv.2602.06285,
title = {MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training},
author = {Lucia Gordon and Serge Belongie and Christian Igel and Nico Lang},
journal= {arXiv preprint arXiv:2602.06285},
year = {2026}
}