软体蛇形机器人CPG调节运动控制器的强化学习

由于非线性和难以建模的动力学，软体机器人的智能控制具有挑战性。一种有前景的软体机器人无模型控制方法是强化学习（RL）。然而，无模型RL方法往往计算代价高且数据效率低，并且可能无法为软体机器人产生自然平滑的运动模式。在这项工作中，我们为软体蛇形机器人开发了一种基于学习的目标跟踪控制器的仿生设计。该控制器由两个模块组成：一个RL模块，用于在机器人未建模和随机动力学下学习目标跟踪行为；以及一个具有Matsuoka振荡器的中枢模式发生器（CPG），用于生成稳定且多样的运动模式。我们从理论上研究了Matsuoka CPG的振荡偏置、频率和幅度在软体蛇形机器人的转向控制、速度控制和仿真到现实适应方面的机动性。基于此分析，我们提出了RL与CPG模块的组合，使得RL模块根据来自机器人的状态反馈调节CPG系统的紧张性输入，然后CPG模块的输出被转换为软体蛇形机器人气动执行器的压力输入。该设计使RL智能体能够自然地学习诱导由CPG机动性决定的期望运动模式。我们在仿真和真实实验中验证了控制设计的最优性和鲁棒性，并与最先进RL方法进行了广泛比较，以展示我们仿生控制设计的优势。