RemoteAgent：基于强化学习的代理化 MLLM 用于桥接模糊人类意图与地球观测
计算机视觉与模式识别
2026-04-14 v2
摘要
地球观测 (EO) 系统本质上是为支持领域专家而设计的，后者常通过模糊的自然语言而非精确、机器友好的指令表达其要求。根据具体应用场景，这些模糊查询可能需要 vastly 不同的视觉精度。因此，实用的 EO AI 系统必须在模糊的人类查询与合适的多层次视觉分析任务之间架起桥梁，这些任务范围从整体图像解释到细粒度像素级预测。虽然多模态大型语言模型 (MLLM) 在语义理解方面表现强劲，但其基于文本的输出格式天然不适用于密集、精度关键的空间预测。现有的代理框架通过委托外部工具来克服此限制，但无差别地调用工具在计算效率和效能利用方面都不理想。为此，我们提出 RemoteAgent，一种 strategically 尊重 MLLM 内在能力边界的代理框架。为了使该框架理解真实用户意图，我们构建 VagueEO，将 EO 任务与模拟的模糊自然语言查询配对。通过利用 VagueEO 进行强化微调，我们将一个 MLLM 调整为一个稳健的认知核心，直接解决图像和稀疏区域级任务。因此，RemoteAgent 在适合的任务内部处理，同时通过 Model Context Protocol 智能地为密集预测调用专用工具。广泛的实验表明，RemoteAgent 在意图识别方面表现稳健，在 diverse EO 任务中实现高度具竞争力的性能。
引用
@article{arxiv.2604.07765,
title = {RemoteAgent: Bridging Vague Human Intents and Earth Observation with RL-based Agentic MLLMs},
author = {Liang Yao and Shengxiang Xu and Fan Liu and Chuanyi Zhang and Bishun Yao and Rui Min and Yongjun Li and Chaoqian Ouyang and Shimin Di and Min-Ling Zhang},
journal= {arXiv preprint arXiv:2604.07765},
year = {2026}
}