LeapVAD：基于认知感知与双过程思维的自动驾驶突破
人工智能
2025-01-15 v1
摘要
尽管自动驾驶技术取得了显著的进展，但数据驱动的方法仍因其有限的推理能力在应对复杂场景时面临挑战。与此同时，随着视觉语言模型的流行，知识驱动的自动驾驶系统发展日益成熟。本文提出了 LeapVAD，一种基于认知感知和双过程思维的新方法。该方法实现了人类注意机制，以识别和聚焦影响驾驶决策的关键交通元素。通过对这些对象的全面属性进行刻画——包括外观、运动模式及其关联风险——LeapVAD 实现了更为有效的环境表征，进而简化了决策过程。此外，LeapVAD 融合了模仿人类驾驶学习过程的创新性双过程决策模块。该系统包含一个分析过程（System-II），通过逻辑推理积累驾驶经验；以及一个启发式过程（System-I），通过微调和少量学习对该知识进行优化。LeapVAD 还包括反思机制和不断增长的记忆库，使其能够从过去的错误中学习，并在闭环环境中持续改进性能。为提升效率，我们开发了一个场景编码网络，用于生成紧凑的场景表征，以实现快速检索相关驾驶经验。对该方法在两大主流自动驾驶仿真器 CARLA 和 DriveArena 上的广泛评估表明，LeapVAD 在有限训练数据下，优于仅使用摄像头的各种方法，实现了卓越的性能。综合的消融研究进一步突显了其在持续学习和领域适应方面的有效性。项目页面：https://pjlab-adg.github.io/LeapVAD/。
引用
@article{arxiv.2501.08168,
title = {LeapVAD: A Leap in Autonomous Driving via Cognitive Perception and Dual-Process Thinking},
author = {Yukai Ma and Tiantian Wei and Naiting Zhong and Jianbiao Mei and Tao Hu and Licheng Wen and Xuemeng Yang and Botian Shi and Yong Liu},
journal= {arXiv preprint arXiv:2501.08168},
year = {2025}
}