部分可观测环境中自主智能体复杂任务的无模型运动规划

在信息不完整的半未知环境中，自主智能体的运动规划是一个具有挑战性的问题，尤其是对于复杂任务。本文提出一种无模型强化学习方法来解决该问题。我们将运动规划表述为概率标注部分可观测马尔可夫决策过程（PL-POMDP）问题，并使用线性时序逻辑（LTL）来表达复杂任务。随后将LTL公式转换为极限确定性广义Büchi自动机（LDGBA）。该问题被重新定义为基于模型检测技术，在PL-POMDP与LDGBA的乘积上寻找最优策略以满足复杂任务。我们实现了带有长短期记忆（LSTM）的深度Q学习来处理观测历史与任务识别。我们的贡献包括所提出的方法、LTL与LDGBA的利用，以及LSTM增强的深度Q学习。我们通过在多种环境中进行仿真来验证所提方法的适用性，包括网格世界、虚拟办公室和多智能体仓库。仿真结果表明，我们提出的方法有效处理了环境、动作和观测不确定性。这表明其在现实世界应用中的潜力，包括无人机（UAVs）的控制。