Senna-2：面向一致决策与规划的 VLM 与端到端驾驶策略对齐
计算机视觉与模式识别
2026-03-13 v1
摘要
视觉语言模型（VLM）通过利用高层次语义推理来增强端到端（E2E）驾驶策略的规划能力。然而，现有方法常常忽视 VLM 高层决策与 E2E 低层规划之间的双系统一致性，导致生成的轨迹可能与原本的驾驶决策不一致，从而削弱了系统对顶部指导和决策遵循能力。为此，我们提出了 Senna-2，一种为实现一致决策与规划而显式对齐 VLM 与 E2E 驾驶策略的高级方法。我们的方法遵循基于一致性的三阶段训练范式。在第一阶段，我们进行驾驶预训练，以实现初步的决策与规划，并通过决策适配器以隐式嵌入形式将 VLM 决策传递给 E2E 策略。在第二阶段，我们在开放环 setting 下对齐 VLM 与 E2E 策略。在第三阶段，我们在 3DGS 环境中通过底向分层强化学习进行闭合环对齐，以强化安全性和效率。大量实验表明，Senna-2 在双系统一致性方面取得显著优势（19.3% 的 F1 分数提升），并在开放环（5.7% 的 FDE 降低）和闭合环环境中显著提升驾驶安全性（30.6% 的 AF-CR 降低）。
引用
@article{arxiv.2603.11219,
title = {Senna-2: Aligning VLM and End-to-End Driving Policy for Consistent Decision Making and Planning},
author = {Yuehao Song and Shaoyu Chen and Hao Gao and Yifan Zhu and Weixiang Yue and Jialv Zou and Bo Jiang and Zihao Lu and Yu Wang and Qian Zhang and Xinggang Wang},
journal= {arXiv preprint arXiv:2603.11219},
year = {2026}
}
备注
15 pages, 8 figures. Project page: https://ambitious-idiot.github.io/senna2-project