PM-FSM：用于鲁棒四足运动的策略调制有限状态机
机器人学
2022-08-02 v2 机器学习
摘要
深度强化学习（deep RL）已成为开发腿式机器人控制器的有效工具。然而，普通的深度强化学习通常需要大量的训练样本，并且难以实现鲁棒的行为。相反，研究人员通过融入人类专家知识，研究了一种新颖的策略架构，例如策略调制轨迹生成器（PMTG）。该架构通过结合参数化轨迹生成器（TG）和反馈策略网络来构建循环控制回路，以实现更鲁棒的行为。为了利用人类专家知识但消除耗时的交互式教学，研究人员研究了一种新颖的架构，即策略调制轨迹生成器（PMTG），它通过结合参数化轨迹生成器（TG）和反馈策略网络来构建循环控制回路，利用直观的先验知识实现更鲁棒的行为。在这项工作中，我们通过用接触感知有限状态机（FSM）替换TG，提出了策略调制有限状态机（PM-FSM），它提供了对每条腿更灵活的控制。与TG相比，FSM对每条腿的运动生成器提供高层管理，并实现灵活的状态安排，这使得学习到的行为不易受到未见过的扰动或挑战性地形的影响。本发明为策略提供了明确的接触事件概念，以应对意外的扰动。我们证明，所提出的架构在仿真和真实机器人上，都能在多种场景（例如挑战性地形或外部扰动）中实现更鲁棒的行为。补充视频可在以下链接找到：https://youtu.be/78cboMqTkJQ。
引用
@article{arxiv.2109.12696,
title = {PM-FSM: Policies Modulating Finite State Machine for Robust Quadrupedal Locomotion},
author = {Ren Liu and Nitish Sontakke and Sehoon Ha},
journal= {arXiv preprint arXiv:2109.12696},
year = {2022}
}