REMSA：基于约束感知智能体的遥感基础模型选择

基础模型（FMs）正在被集成到遥感（RS）管道中。这些模型包括单模态视觉编码器和多模态架构。FMs被适配到各种感知任务，如图像分类、变化检测和视觉问答。然而，为特定任务选择最合适的遥感基础模型（RSFM）仍然具有挑战性，因为文档零散、格式异构且部署约束复杂。为此，我们首先引入RSFM数据库（RS-FMD），这是第一个结构化且模式导向的资源，涵盖超过160个在各种数据模态上训练的RSFM，涉及不同的空间、光谱和时间分辨率，考虑不同的学习范式。基于RS-FMD，我们进一步提出了REMSA，一个约束感知智能体，使其能够通过自然语言查询实现自动化RSFM选择。REMSA组合结构化FM元数据检索与任务导向决策工作流程。具体而言，它解释用户输入、澄清缺失的约束、通过基于情境的学习对模型进行排序，并提供透明的依据。我们的系统支持各种RS任务和数据模态，实现个人化、可重复且高效的FM选择。为评估REMSA，我们构建了一个包含100个专家验证的RS查询场景的基准。每个查询在4个系统和3个LLM后端上进行评估，所选前3个模型由领域专家进行人工评估。这导致我们在新颖的专家中心评估协议下，获得了3000个专家评分的任务-系统-模型配置。REMSA在多个基准测试中表现出色，显示其在实际决策应用中的实用性。REMSA完全基于公开的开源RSFM元数据运行，不涉及任何私人或敏感数据。