一种集成HMDP与MPC的自主决策系统分层控制框架

本文为机器人及自主系统中出现的自主决策问题提出一个全面的分层控制框架。在典型的分层控制架构中，高层决策通常以离散状态和决策/控制集为特征。然而，一个合理的决策不仅受自主系统离散状态的影响，还受底层连续动态甚至其运行环境演变的影响。本文为此类挑战性问题提出一个整体且全面的设计过程和框架，涵盖从新的建模与设计问题表述到控制设计与稳定性分析。它解决了传统上用于底层控制设计的连续系统动力学与用于促进高层决策的离散马尔可夫决策过程（MDP）之间错综复杂的相互作用。我们将复杂环境中的决策系统建模为一个由受控MDP和自主（即非受控）连续动态组成的混合系统。因此，新的表述被称为混合马尔可夫决策过程（HMDP）。设计问题的表述侧重于确保安全性和最优性，同时考虑不同层级的离散和连续状态变量的影响。借助模型预测控制（MPC）概念，为所提出的混合决策模型设计了一种决策器设计方案。通过精心设计该方案中涉及的关键要素，证明了所提出的自主决策方案的递归可行性和稳定性得以保证。所提出的框架被应用于开发智能车辆的自主换道系统。