CTS：用于不均匀地形上的腿式 locomotion 的并行教师-学生型强化学习
机器人学
2024-09-04 v2
摘要
感谢近年来数据驱动学习方法的飞速发展，强化学习(RL)成为解决机器人中腿式 locomotion问题的有前景的解决方案。本文提出了CTS，即一种用于不均匀地形上腿式 locomotion的并行教师-学生型强化学习架构。不同于传统教师-学生架构先通过RL训练教师策略，再通过监督学习将知识传递给学生策略的做法，我们提出的架构在强化学习范式下同步训练教师和学生策略网络。为此，我们开发了一种基于修改后的原型策略梯度(PPO)方法的新训练方案，该方法利用来自教师和学生策略与环境之间交互的样本。通过大量定量仿真比较与最先进的方法以及针对四足和二足点足机器人平台的大量室内外实验，展示了该架构和新训练方案的有效性，显示出稳健且灵活的 locomotion能力。定量仿真比较表明，我们的方法在处理盲目 locomotion任务方面性能优于两种阶段的教师-学生方案，平均速度跟踪误差降低最高可达20%。视频可在https://clearlab-sustech.github.io/concurrentTS 查看。
引用
@article{arxiv.2405.10830,
title = {CTS: Concurrent Teacher-Student Reinforcement Learning for Legged Locomotion},
author = {Hongxi Wang and Haoxiang Luo and Wei Zhang and Hua Chen},
journal= {arXiv preprint arXiv:2405.10830},
year = {2024}
}