HRL4IN：面向移动机械臂交互式导航的分层强化学习
机器学习
2019-10-28 v1 人工智能
计算机视觉与模式识别
机器人学
机器学习
摘要
人类环境中的大多数常见导航任务都需要辅助的机械臂交互，例如开门、按按钮和推开障碍物。这类我们称之为交互式导航（Interactive Navigation）的导航任务需要使用移动机械臂：具备操作能力的移动底盘。交互式导航任务通常具有长时序特性，并由纯导航、纯操作及其组合等异质阶段构成。使用本体中错误的部分效率低下且阻碍进展。我们提出HRL4IN，一种用于交互式导航任务的新型分层强化学习（Hierarchical RL）架构。得益于面向子目标的时间扩展承诺，HRL4IN利用了分层RL相对于扁平RL在长时序任务上的探索优势。不同于其他分层RL方案，HRL4IN通过在任务不同阶段于不同空间中创建子目标来处理交互式导航任务的异质特性。此外，HRL4IN为每个阶段选择本体的不同部分来使用，从而提升能效。我们在两个环境——一个2D网格世界环境和一个带物理模拟的3D环境——中对HRL4IN与扁平PPO以及最先进的分层RL算法HAC在交互式导航上进行了评估。我们表明，HRL4IN在任务性能和能效方面显著优于其基线。更多信息见 https://sites.google.com/view/hrl4in。
引用
@article{arxiv.1910.11432,
title = {HRL4IN: Hierarchical Reinforcement Learning for Interactive Navigation with Mobile Manipulators},
author = {Chengshu Li and Fei Xia and Roberto Martin-Martin and Silvio Savarese},
journal= {arXiv preprint arXiv:1910.11432},
year = {2019}
}
备注
Conference on Robot Learning (CoRL) 2019