基于核的扩散近似马尔可夫决策过程用于非结构化地形上的自主导航与控制

我们提出一种针对连续状态马尔可夫决策过程（MDPs）的扩散近似方法，可用于解决非结构化越野环境中的自主导航与控制问题。与大多数假设状态转移模型完全已知的决策理论规划框架不同，我们设计的方法消除了这一在现实中往往极难构造的强假设。我们首先对值函数取二阶泰勒展开，然后将贝尔曼最优方程近似为一个偏微分方程，其仅依赖于转移模型的一阶与二阶矩。通过结合值函数的核表示，我们设计了一种高效策略迭代算法，其策略评估步骤可表示为由有限支撑状态集刻画的一个线性方程组。我们首先在 2D 避障与 2.5D 地形导航问题中通过大量仿真验证了所提方法。结果表明，相较于若干基线方法，所提方法性能更优。随后我们开发了一个将决策框架与机载感知集成的系统，并在杂乱室内与非结构化室外环境中进行了实地实验。实物系统的结果进一步证明了我们的方法在挑战性真实环境中的适用性。