面向连续控制任务与路径规划的函数分解式层次结构学习
机器学习
2021-10-08 v4 人工智能
机器人学
机器学习
摘要
我们提出 HiDe，一种新颖的层次化强化学习架构，能够成功解决长时域控制任务并泛化至未见过的测试场景。通过在层次间显式分离状态-动作空间，实现了规划与底层控制之间的功能分解，从而允许各层整合与任务相关的知识。我们提出了一种基于强化学习的规划器，以高效利用层次规划层中的信息，而控制层学习一个目标条件控制策略。该层次结构联合训练，但允许策略层在不同智能体的层次结构间进行模块化迁移。我们通过实验表明，我们的方法能够泛化至未见过的测试环境，并且相较于基于学习和非学习的方法，时域长度可扩展至 3 倍。我们在具有稀疏奖励的复杂连续控制任务上进行了评估，包括导航与机器人操作。
引用
@article{arxiv.2002.05954,
title = {Learning Functionally Decomposed Hierarchies for Continuous Control Tasks with Path Planning},
author = {Sammy Christen and Lukas Jendele and Emre Aksan and Otmar Hilliges},
journal= {arXiv preprint arXiv:2002.05954},
year = {2021}
}