CPG-RL：面向四足运动的中枢模式发生器学习
机器人学
2022-11-02 v1 人工智能
机器学习
系统与控制
系统与控制
摘要
在本通讯中，我们提出一种将中枢模式发生器（CPGs，即耦合振荡器系统）集成到深度强化学习（DRL）框架中以产生鲁棒全向四足运动的方法。智能体学习直接调节固有振荡器的设定点（幅值与频率）并协调不同振荡器间的节律行为。该方法也允许利用 DRL 探究与神经科学相关的问题，即下行通路、振荡器间耦合以及感觉反馈在步态生成中的作用。我们在仿真中训练策略并完成到 Unitree A1 四足机器人的仿真到实物的迁移，观察到对训练期间未见的扰动具有鲁棒行为，最显著的是动态添加的 13.75 kg 负载，相当于标称四足质量的 115%。我们测试了若干基于本体感觉感知的不同观测空间，表明我们的框架可在无域随机化且极少反馈下部署，此时除振荡器状态外，观测空间中仅需提供接触布尔量。视频结果见 https://youtu.be/xqXHLzLsEV4。
引用
@article{arxiv.2211.00458,
title = {CPG-RL: Learning Central Pattern Generators for Quadruped Locomotion},
author = {Guillaume Bellegarda and Auke Ijspeert},
journal= {arXiv preprint arXiv:2211.00458},
year = {2022}
}
备注
Accepted for IEEE Robotics and Automation Letters, September 2022