DriveAdapter:打破端到端自动驾驶中感知与规划耦合壁垒
机器人学
2023-08-29 v2 计算机视觉与模式识别
摘要
端到端自动驾驶旨在构建一个完全可微分的系统,以原始传感器数据作为输入并直接输出自车规划的轨迹或控制信号。最先进的方法通常遵循“教师-学生”范式。教师模型利用特权信息(周围智能体和地图元素的真实状态)来学习驾驶策略。学生模型仅能访问原始传感器数据,并对教师模型收集的数据进行行为克隆。通过在规划学习中消除感知部分的噪声,最先进的工作相比耦合式方法可用显著更少的数据取得更好性能。然而,在当前的教师-学生范式下,学生模型仍需从零学习规划头,由于原始传感器输入的冗余与噪声特性以及行为克隆的因果混淆问题,这可能具有挑战性。在这项工作中,我们旨在探索直接采用强教师模型进行规划,同时让学生模型更专注于感知部分的可能性。我们发现,即使配备 SOTA 感知模型,直接让学生模型学习教师模型所需输入会导致糟糕的驾驶性能,这源于预测特权输入与真实值之间的巨大分布差距。为此,我们提出 DriveAdapter,其在学生(感知)与教师(规划)模块间采用具有特征对齐目标函数的适配器。此外,由于纯基于学习的教师模型本身不完美且偶尔违反安全规则,我们提出一种带掩码的动作引导特征学习方法,针对那些不完美的教师特征,以进一步将手工规则的先验注入学习过程。
引用
@article{arxiv.2308.00398,
title = {DriveAdapter: Breaking the Coupling Barrier of Perception and Planning in End-to-End Autonomous Driving},
author = {Xiaosong Jia and Yulu Gao and Li Chen and Junchi Yan and Patrick Langechuan Liu and Hongyang Li},
journal= {arXiv preprint arXiv:2308.00398},
year = {2023}
}
备注
Accepted by ICCV 2023 (Oral). Code url: https://github.com/OpenDriveLab/DriveAdapter