基于自我感知扩展的强化细化：面向端到端自动驾驶
机器人学
2025-06-12 v1
摘要
端到端自动驾驶已成为一种引人注目的范式，旨在直接将传感器输入映射到规划动作，采用基于学习的模块集成。然而，现有的模仿学习(IL)基于模型在困难案例上的泛化性差，部署后缺乏纠错反馈环。虽然强化学习(RL)可针对困难案例提供最优解，但容易过拟合到特定驾驶情景，导致通用知识灾难性遗忘和样本效率低下。为克服这些挑战，我们提出了一种新型学习管道——自我感知扩展强化细化(R2SE)，持续细化难域，同时保持可泛化的驾驶策略，适用于模型无关的端到端驾驶系统。通过强化微调和策略扩展实现持续改进，R2SE包含三个关键组件：1) 采用硬案例分配进行通用预训练，训练通用模仿学习(IL)驾驶系统，同时动态识别易失败案例以进行针对性细化；2) 基于残差的强化专家微调，使用强化学习(RL)优化残差校正，提升硬案例表现，同时保留全局驾驶知识；3) 自我感知适配器动态整合专家策略至通用模型，实现持续性能提升。封闭环路仿真和真实数据集实验表明，与最先进的端到端系统相比，R2SE在泛化性、安全性和长程策略鲁棒性方面均取得改进，凸显了强化细化在可扩展自动驾驶中的有效性。
引用
@article{arxiv.2506.09800,
title = {Reinforced Refinement with Self-Aware Expansion for End-to-End Autonomous Driving},
author = {Haochen Liu and Tianyu Li and Haohan Yang and Li Chen and Caojun Wang and Ke Guo and Haochen Tian and Hongchen Li and Hongyang Li and Chen Lv},
journal= {arXiv preprint arXiv:2506.09800},
year = {2025}
}