面向自动驾驶状态空间与策略空间的空间无缝分层强化学习
机器学习
2021-11-11 v1 人工智能
摘要
尽管分层强化学习取得了进展，但将其应用于高速公路自动驾驶中的路径规划仍具挑战性。一个原因是传统分层强化学习方法因其风险性而不适用于自动驾驶：智能体必须移动以避开多个高度不可预测的障碍物（如其他智能体），因此安全区域狭小、分散且随时间变化。为克服这一挑战，我们提出了一种针对状态空间与策略空间的空间分层强化学习方法。高层策略不仅选择行为子策略，还选择状态空间中需关注的局部区域以及策略空间中用于勾勒轮廓的区域。随后，低层策略在高阶指令所选区域的轮廓内细化智能体的短期目标位置。我们方法所建议的网络结构与优化与单级方法一样简洁。在不同形状道路环境下的实验表明，我们的方法从早期回合即找到近似最优策略，优于基线分层强化学习方法，尤其在狭窄复杂道路上。所得道路轨迹在行为规划层面类似于人类策略。
引用
@article{arxiv.2111.05479,
title = {Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving},
author = {Jaehyun Kim and Jaeseung Jeong},
journal= {arXiv preprint arXiv:2111.05479},
year = {2021}
}
备注
14 pages, 8 figures, and 3 tables