SurrealDriver：基于人类驾驶员驾驶思维数据设计 LLM 驱动的生成式驾驶智能体框架
人机交互
2024-07-23 v2
摘要
利用大语言模型（LLMs）的先进推理能力与广博世界知识构建生成式智能体以解决复杂现实问题是一大趋势。然而，LLMs 天生缺乏像人一样的具身性，导致其在许多具身决策任务中表现欠佳。本文引入一种框架，利用人类驾驶员驾驶后自我报告的驾驶思维数据作为示范与反馈，构建类人生成式驾驶智能体。为获取高质量的自然语言驾驶员数据，我们开展了城市驾驶实验，记录驾驶员在不同条件下的口头化思维，作为 LLM 智能体的思维链提示与示范样例。该框架的有效性通过仿真与人类评估进行了评价。结果表明，相较于基线 LLM 智能体，引入专家示范数据使碰撞率显著降低 81.04%，类人度提升 50%。我们的研究为在具身任务中使用基于自然语言的人类示范数据提供了洞见。该驾驶思维数据集发布于 \url{https://github.com/AIR-DISCOVER/Driving-Thinking-Dataset}。
引用
@article{arxiv.2309.13193,
title = {SurrealDriver: Designing LLM-powered Generative Driver Agent Framework based on Human Drivers' Driving-thinking Data},
author = {Ye Jin and Ruoxuan Yang and Zhijie Yi and Xiaoxi Shen and Huiling Peng and Xiaoan Liu and Jingli Qin and Jiayang Li and Jintao Xie and Peizhong Gao and Guyue Zhou and Jiangtao Gong},
journal= {arXiv preprint arXiv:2309.13193},
year = {2024}
}
备注
6 pages, 3 figures