多模态协学习在地球观测中的应用：通过模态协作提升单模态模型

多模态协学习正成为机器学习中有效的范式，使模型能够从不同模态中协作学习，以增强单模态预测。地球观测 (EO) 代表了多模态数据分析的典型领域，其中多样化的遥感传感器收集数据以感知我们的星球。这种前所未有的大量数据引入了新挑战。具体而言，基于影响遥感平台的现实约束，训练和推断阶段获取相同传感器模态变得日益复杂。在此背景下，多模态协学习呈现出一种潜在的策略，利用在训练阶段可用的数据来提高推断时间部署的单模态模型。大多数当前研究努力集中于为特定下游任务或推断阶段可用的特定模态设计定制化解决方案。为此，我们提出了一种新的多模态协学习框架，能够在不针对推断阶段的特定模态进行针对性设计的情况下，对各种任务进行泛化。我们的ethods 将对比学习和模态判别学习相结合，以引导单模态模型将内部模型流形结构化为模态共享和模态特定信息。我们在四个 EO 基准数据集上进行评估，涵盖不同传感器模态的分类和回归任务，在推断时间仅可访问训练时的一种模态。我们的结果表明，相较于最近机器学习和计算机视觉文献中的最先进方法以及 EO 特定方法，Our framework 在各种 EO 应用的单模态推断场景中实现了持续的预测性改进。所得发现验证了该框架在单模态推断情景下的有效性。