超越文字：在交通规划中评估大型语言模型
人工智能
2024-09-24 v1 计算与语言
信息检索
摘要
2023 年生成式人工智能的复兴和快速发展催化了众多行业领域的变革，包括城市交通和物流。本研究调查了大型语言模型的评估，特别是 GPT-4 和 Phi-3-mini，以增强交通规划。该研究通过一个交通信息评估框架评估了这些模型的性能和空间理解能力，该框架包括通用地理空间技能、通用交通领域技能和现实世界交通问题解决。采用混合方法，该研究评估了 LLM 的通用地理信息系统（GIS）技能、通用交通领域知识，以及在拥堵定价的现实世界交通规划场景中支持人类决策的能力。结果表明，与 Phi-3-mini 相比，GPT-4 在各种 GIS 和特定交通任务中表现出更高的准确性和可靠性，突显了其作为交通规划人员强大工具的潜力。尽管如此，Phi-3-mini 在特定分析场景中表现出能力，表明其在资源受限环境中的实用性。研究结果强调了 GenAI 技术在城市交通规划中的变革潜力。未来的工作可以探索更新的 LLM 的应用以及检索增强生成（RAG）技术对更广泛的现实世界交通规划和运营挑战的影响，以深化先进 AI 模型在交通管理实践中的整合。
引用
@article{arxiv.2409.14516,
title = {Beyond Words: Evaluating Large Language Models in Transportation Planning},
author = {Shaowei Ying and Zhenlong Li and Manzhu Yu},
journal= {arXiv preprint arXiv:2409.14516},
year = {2024}
}