基于混合选项的安全驾驶学习

在众多深度强化学习方法用于自动驾驶方面，只有少数方法利用了选项（或技能）框架。这一点令人惊讶，因为该框架天然适用于一般的分层控制应用，尤其是针对自动驾驶任务。因此，本文将选项框架应用于高速公路自动驾驶任务，并对其进行定制化。具体而言，我们为纵向和横向maneuver 定义专用选项，并嵌入安全和舒适约束。这样可以将先验领域知识纳入学习过程，并更容易地约束所学的驾驶行为。我们提出了几种用于分层控制的选项配置方案，并遵循最新的强化学习技术提出了实用算法。通过分别选择纵向和横向控制的动作，所引入的策略对组合和混合选项获得了与人类驾驶员相同的表达性和灵活性，同时比经典的连续动作策略更易于解释。经过调查的所有方法中，这些灵活的混合选项策略在各种交通条件下表现最佳，优于基线策略。