受模板模型启发的任务空间学习用于鲁棒双足行走
机器人学
2023-09-28 v1
摘要
本工作提出一种双足行走的分层框架,其结合基于强化学习(RL)的高层(HL)规划策略用于在线生成任务空间指令,以及基于模型的低层(LL)控制器来跟踪期望的任务空间轨迹。不同于传统的端到端学习方法,我们的HL策略从基于角动量的线性倒立摆(ALIP)获取灵感,精心设计马尔可夫决策过程(MDP)的观测与动作空间。这一简单而有效的设计在有效捕捉双足行走复杂动力学的低维状态与塑造机器人行走步态的一组任务空间输出之间建立了富有洞见的映射。HL策略对任务空间LL控制器无关,这提升了框架对其他双足机器人的设计灵活性与泛化能力。与ALIP基于模型的方法及最先进的基于学习的双足行走框架相比,该分层设计带来了性能、数据效率与鲁棒性均更优的基于学习的框架。所提出的分层控制器在三种不同机器人上测试:Rabbit,一个五连杆欠驱动平面双足;Walker2D,一个七连杆全驱动平面双足;以及Digit,一个具有20个驱动关节的3D人形机器人。训练得到的策略自然学会类人行走行为,并能在对抗条件下有效跟踪大范围行走速度,同时保持行走步态的鲁棒与稳定。
引用
@article{arxiv.2309.15442,
title = {Template Model Inspired Task Space Learning for Robust Bipedal Locomotion},
author = {Guillermo A. Castillo and Bowen Weng and Shunpeng Yang and Wei Zhang and Ayonga Hereid},
journal= {arXiv preprint arXiv:2309.15442},
year = {2023}
}
备注
Accepted at 2023 International Conference on Intelligent Robots and Systems (IROS). Supplemental Video: https://youtu.be/YTjMgGka4Ig