面向多模态基础模型的知识引导预训练方法：遥感应用
计算机视觉与模式识别
2026-03-30 v5 机器学习
摘要
自监督学习已成为使用大规模数据进行基础模型预训练的强大范式。现有预训练方法主要依赖掩码重建或下一个标记预测策略，在各种下游任务中展现出强性能力，包括地球科学应用。然而，这些方法未能充分捕捉不同地理空间和环境变量之间因果关系。为此，我们提出了知识引导变量步长预测（Knowledge Guided Variable-Step Forecasting, KG-VSF），这是一种新颖的预训练任务，将预测建模为条件生成任务，其中驱动变量（如天气）用于inform预测响应变量（如卫星影像）。我们展示了，采用此类预训练方式可获得强大的嵌入表示，在捕获此类因果关系至关重要的下游任务中（如像素级作物类型映射、土壤湿度估计与预测、缺失影像预测及未来影像预测）可实现优于来自其他标准预训练方法的微调嵌入表示的 improved性能。
引用
@article{arxiv.2407.19660,
title = {Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing},
author = {Praveen Ravirathinam and Ajitesh Parthasarathy and Ankush Khandelwal and Rahul Ghosh and Vipin Kumar},
journal= {arXiv preprint arXiv:2407.19660},
year = {2026}
}
备注
33 pages with appendix