EO-Gym：面向地球观测智能体的多模态、交互式环境
人工智能
2026-05-05 v1
摘要
地球观测（EO）分析本质上是交互式的：解决不确定性问题往往需要扩大感兴趣区域、检索历史观测并跨越光学和合成孔径雷达等传感器。然而，大多数 EO 基准将此过程简化为固定输入、单轮任务。在此基础上，我们提出 EO-Gym，一个面向多模态、工具型 EO 智能体的可执行框架，将 EO 分析建模为以 Gymnasium 风格本地地理空间工作区为支撑的环境，拥有超过 66 万个以位置、时间和传感器类型索引的多模态文件，配备 35 项 EO 专业工具覆盖六大任务族。基于该环境，我们构建 EO-Gym-Data，包含 9,078 条轨迹和 34,604 条推理步骤，基于八个公开 EO 数据集以及 Landsat 和 Sentinel-2 影像。评估 10 个开放式和封闭式视觉语言模型显示，强大的通用模型在交互式 EO 推理中仍面临挑战，尤其在时序和跨模态工作流程方面。作为参考基线，EO-Gym-4B 通过在 EO-Gym-Data 上微调 Qwen3-VL-4B-Instruct 实现整体 Pass@3 从 0.49 提升至 0.74。O-Gym 提供了一个可复现的交互式 EO 智能体环境，将 EO 建模为需要跨地理空间、时序和感知模态进行规划的证据收集问题。
引用
@article{arxiv.2605.01250,
title = {EO-Gym: A Multimodal, Interactive Environment for Earth Observation Agents},
author = {Sai Ma and Zhuang Li and Sichao Li and Xinyue Xu and Ruibiao Zhu and Tony Boston and John A. Taylor},
journal= {arXiv preprint arXiv:2605.01250},
year = {2026}
}