结合子目标图与强化学习构建理性路径规划器
人工智能
2019-04-05 v1 机器学习
机器人学
摘要
本文提出一种称为 SG-RL（子目标图-强化学习，subgoal graphs-reinforcement learning）的分层路径规划框架，用于在连续不确定环境中为智能体规划理性路径。所谓“理性”，是指：（1）高效路径规划以消除首步延迟；（2）满足运动学约束、无碰撞且平滑。SG-RL 以两级方式工作。第一级，SG-RL 使用几何路径规划方法即简单子目标图（Simple Subgoal Graphs, SSG）高效寻找最优抽象路径，亦称子目标序列。第二级，SG-RL 使用强化学习（RL）方法即最小二乘策略迭代（Least-Squares Policy Iteration, LSPI）学习近最优运动规划策略，能在相邻子目标间生成满足运动学可行且无碰撞的轨迹。所提方法的第一个优势是 SSG 能解决 RL 智能体的稀疏奖励与局部极小陷阱局限，从而 LSPI 可用于复杂环境生成路径。第二个优势是当环境轻微变化（即出现意外障碍）时，SG-RL 无需重建子目标图并用 SSG 重规划子目标序列，因为 LSPI 可借助泛化能力处理环境变化的不确定性。代表性场景中的仿真实验表明，与现有方法相比，SG-RL 能在大规模地图上以较低动作切换频率和更短路径长度良好工作，且能应对环境微小变化。我们进一步证明奖励函数设计与训练环境类型对学习可行策略的重要因素。
引用
@article{arxiv.1811.01700,
title = {Combining Subgoal Graphs with Reinforcement Learning to Build a Rational Pathfinder},
author = {Junjie Zeng and Long Qin and Yue Hu and Cong Hu and Quanjun Yin},
journal= {arXiv preprint arXiv:1811.01700},
year = {2019}
}
备注
20 pages