ALN-P3：面向自动驾驶的感知、预测、规划统一语言对齐
计算机视觉与模式识别
2025-05-22 v1 计算与语言
摘要
近期研究探索将大语言模型（LLM）集成到端到端自动驾驶系统中以提升泛化能力和可解释性，但大多数现有方法要么局限于驾驶性能，要么局限于视觉-语言推理，难以同时实现两者。本文提出ALN-P3，一种统一的协蒸馏框架，引入视觉驱动的快速自动驾驶系统与语言驱动的慢速推理模块之间的跨模态对齐。ALN-P3包含三种新型对齐机制：感知对齐（P1A）、预测对齐（P2A）和规划对齐（P3A），这些机制在完整的感知、预测和规划堆栈中显式对齐视觉标记与相应语言输出。所有对齐模块仅在训练时应用，推理期间不增加额外开销。在四个具有挑战性的基准测试上进行的广泛实验表明，ALN-P3显著提升了驾驶决策和语言推理能力，实现了最先进的效果。
引用
@article{arxiv.2505.15158,
title = {ALN-P3: Unified Language Alignment for Perception, Prediction, and Planning in Autonomous Driving},
author = {Yunsheng Ma and Burhaneddin Yaman and Xin Ye and Mahmut Yurt and Jingru Luo and Abhirup Mallik and Ziran Wang and Liu Ren},
journal= {arXiv preprint arXiv:2505.15158},
year = {2025}
}
备注
10 pages