Talk2DM：利用大语言模型实现车路云一体化动态地图的自然语言查询与常识推理
人工智能
2026-02-13 v1
摘要
动态地图作为中国和日本车路云协同自动驾驶的基础信息基础设施，通过提供全面的交通场景表示，克服了独立自动驾驶系统（如物理遮挡）的局限性。尽管增强DM的ADS已在日本的实际应用中成功部署，但现有的DM系统仍然缺乏自然语言支持的人机界面，而这可以显著增强人-DM交互。为了弥补这一差距，本文介绍了VRCsim，一个VRC协同感知仿真框架，旨在生成流式VRC-CP数据。基于VRCsim，我们构建了一个问答数据集VRC-QA，专注于混合交通场景中的空间查询和推理。基于VRCsim和VRC-QA，我们进一步提出了Talk2DM，一个即插即用的模块，它用NLS查询和常识推理能力扩展了VRC-DM系统。Talk2DM建立在一个新颖的链式提示机制之上，该机制逐步将人类定义的规则与大语言模型的常识知识整合在一起。在VRC-QA上的实验表明，Talk2DM可以在不同LLM之间无缝切换，同时保持高NLS查询准确率，展现出强大的泛化能力。尽管较大的模型往往能获得更高的准确率，但它们会带来显著的效率下降。我们的结果表明，由Qwen3:8B、Gemma3:27B和GPT-oss模型驱动的Talk2DM，实现了超过93%的NLS查询准确率，平均响应时间仅为2-5秒，显示出强大的实际应用潜力。
引用
@article{arxiv.2602.11860,
title = {Talk2DM: Enabling Natural Language Querying and Commonsense Reasoning for Vehicle-Road-Cloud Integrated Dynamic Maps with Large Language Models},
author = {Lu Tao and Jinxuan Luo and Yousuke Watanabe and Zhengshu Zhou and Yuhuan Lu and Shen Ying and Pan Zhang and Fei Zhao and Hiroaki Takada},
journal= {arXiv preprint arXiv:2602.11860},
year = {2026}
}
备注
Submitted to IEEE TITS. Under review