TurnBack：通过逆向路径构建面向大语言模型的地理空间路线认知基准
机器学习
2025-09-24 v1 计算与语言
摘要
人类能够通过自然语言解释地理信息，而大语言模型（LLM）的地理空间认知能力尚未得到充分探索。该领域的 prior 研究受限于不可量化的指标、有限的评估数据集以及不清晰的研究层级结构。因此，我们提出了一个大规模基准并对LLM的地理空间路线认知进行了全面评估。我们创建了一个来自世界12个大都会的36000条路线的大规模评估数据集。随后，我们引入了PathBuilder——一种将自然语言指令转换为导航路线的新工具，反之亦然，弥合了地理空间信息与自然语言之间的鸿沟。最后，我们提出了新的评估框架和指标，对11个最先进（SOTA）LLM在路线逆转任务上的表现进行严格评估。该基准揭示了LLM在逆转路线方面的局限性：大多数逆转路线既不返回起点，也不类似于最优路线。此外，LLM面临着低鲁棒性（在路线生成方面）以及对错误答案高置信度等挑战。代码与数据可在此处获取：https://github.com/bghjmn32/EMNLP2025_Turnback
关键词
引用
@article{arxiv.2509.18173,
title = {TurnBack: A Geospatial Route Cognition Benchmark for Large Language Models through Reverse Route},
author = {Hongyi Luo and Qing Cheng and Daniel Matos and Hari Krishna Gadi and Yanfeng Zhang and Lu Liu and Yongliang Wang and Niclas Zeller and Daniel Cremers and Liqiu Meng},
journal= {arXiv preprint arXiv:2509.18173},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Main). This is the camera-ready/author version