从像素到腿足： quadruped 运动的分层学习
机器人学
2020-12-01 v1 计算机视觉与模式识别
机器学习
摘要
在现实世界中于拥挤场景和复杂地形中导航的腿足机器人，需要执行动态的腿部运动，同时处理视觉输入以进行避障和路径规划。我们展示了 quadruped 机器人可以通过分层强化学习（HRL）掌握这两项技能。凭借其分层结构，我们的策略学习隐式地分解这一联合问题，同时学习高层（HL）和低层（LL）神经网络策略。这两层由一个低维隐藏层连接，我们称之为隐命令。HL 接收第一人称相机视角，而 LL 接收来自 HL 的隐命令以及机器人的车载传感器信号来控制其执行器。我们训练策略在两种不同环境中行走：弯曲悬崖和迷宫。我们展示了分层策略能够在这些环境中同时学习运动和导航，并且它们比非分层神经网络策略更高效。该架构还允许跨任务的知识重用。在一个任务上训练的 LL 网络可以迁移到新环境中的新任务。最后，处理相机图像的 HL 可以以比 LL 更低且可变得多的频率进行评估，从而减少计算时间和带宽需求。
引用
@article{arxiv.2011.11722,
title = {From Pixels to Legs: Hierarchical Learning of Quadruped Locomotion},
author = {Deepali Jain and Atil Iscen and Ken Caluwaerts},
journal= {arXiv preprint arXiv:2011.11722},
year = {2020}
}