基于前瞻深度强化学习的自适应随机非线性模型预测控制在自动驾驶车辆运动控制中的应用
系统与控制
2023-11-09 v1 机器人学
系统与控制
摘要
在本文中，我们提出一种深度强化学习（RL）驱动的自适应随机非线性模型预测控制（SNMPC），以优化不确定性处理、约束鲁棒化、可行性与闭环性能。为此，我们设计了一个 RL 智能体，用于主动预判即将到来的控制任务，并动态确定关键 SNMPC 参数的最合适组合——主要是鲁棒化因子 和不确定性传播时域（UPH）。我们分析了训练后 RL 智能体的决策过程，并强调其学习上下文相关最优参数的能力。一个关键发现是，利用学习到的策略调整约束鲁棒化因子可降低保守性并改善闭环性能，而调整 UPH 可在遭遇严重扰动时使原本不可行的 SNMPC 问题变为可行。我们通过自动驾驶乘用车在面临显著时变扰动时跟踪最优 racing line 的实时运动控制任务，展示了我们的自适应 SNMPC（aSNMPC）增强的鲁棒性与可行性。实验结果表明，我们的前瞻 RL 驱动的 aSNMPC 在最小化横向偏差方面优于其静态 SNMPC（sSNMPC）对应方案，无论是在准确还是不准确的扰动假设下，甚至是在先前未探索的环境中行驶。
引用
@article{arxiv.2311.04303,
title = {Adaptive Stochastic Nonlinear Model Predictive Control with Look-ahead Deep Reinforcement Learning for Autonomous Vehicle Motion Control},
author = {Baha Zarrouki and Chenyang Wang and Johannes Betz},
journal= {arXiv preprint arXiv:2311.04303},
year = {2023}
}