GROKE: 基于 OpenStreetMap 图推理的无视觉导航指令评估

导航指令的评估仍是 Vision-and-Language Navigation (VLN) 研究中的持久挑战。传统参考基于的指标如 BLEU 和 ROUGE 无法捕捉空间指令的功能实用性，即指令是否成功引导导航者到达预期目的地。虽然现有 VLN 代理可作为评估器，但其依赖高保真视觉模拟器引入许可证限制和计算成本，感知误差进一步混淆语言质量评估。本文引入 GROKE (Graph-based Reasoning over OSM Knowledge for instruction Evaluation)，一个基于 OpenStreetMap 数据的无视觉、无训练的分层 LLM 框架，用于评估导航指令。通过系统消融研究，我们证明结构化 JSON 和文本格式的空间信息显著优于网格化和视觉图表示。我们的分层架构结合子指令规划与拓扑图导航，将导航误差相对于启发式和抽样基线降低 68.5%。代理的执行成功率、轨迹忠诚度和决策模式作为给定 OSM 可见地标和拓扑结构功能导航可行性的代理指标，建立了一个无视觉依赖的可扩展且可解释的评估范式。代码和数据地址为 https://anonymous.4open.science/r/groke。