利用分层隐技能提升自动驾驶离线强化学习
机器人学
2023-11-20 v2 人工智能
摘要
随着多样化驾驶模拟器与大规模驾驶数据集的出现，基于学习的车辆规划正受到越来越多的关注。虽然离线强化学习（RL）非常适用于这些安全关键任务，它仍难以进行长时间跨度的规划。在本工作中，我们提出一个基于技能的框架，增强离线 RL 以克服长视野车辆规划挑战。具体而言，我们设计了一个变分自编码器（VAE）从离线演示中学习技能。为缓解常见 VAE 的后验坍缩，我们引入了一个双分支序列编码器以捕获复杂驾驶技能的离散选项与连续变化。最终策略将学习到的技能视为动作，并可由任何现成的离线 RL 算法训练。这促使关注点从单步动作转向时间扩展的技能，从而实现面向未来的长期推理。在 CARLA 上的大量结果表明，我们的模型在训练场景与新场景中均持续优于强基线。额外的可视化与实验展示了所提取技能的可解释性与可迁移性。
引用
@article{arxiv.2309.13614,
title = {Boosting Offline Reinforcement Learning for Autonomous Driving with Hierarchical Latent Skills},
author = {Zenan Li and Fan Nie and Qiao Sun and Fang Da and Hang Zhao},
journal= {arXiv preprint arXiv:2309.13614},
year = {2023}
}