受中枢运动系统启发的机器人控制预训练强化学习

智能机器人的发展需要能够处理动态环境和演化任务的控制策略。预训练强化学习通过使机器人获取可复用的运动技能，已成为应对这些需求的有效方法。然而，它们通常依赖大型数据集或专家设计的任务目标空间，限制了适应性。此外，这些方法难以在高维状态空间中生成动态且多样的技能，降低了其对下游任务的有效性。在本文中，我们提出CMS-PRL，一种受中枢运动系统（CMS）启发的预训练强化学习方法。首先，我们引入一种融合奖励机制，将基础运动奖励与互信息奖励结合，在预训练期间促进动态技能的发现，而不依赖外部数据。其次，我们设计了一种受基底节运动程序启发的技能编码方法，在预训练期间提供丰富且连续的技能指令。最后，我们提出一种技能活动函数以调节运动技能活动，使生成具有不同活动水平的技能成为可能，从而增强机器人在下游任务中的灵活性。我们在一组具有挑战性的稀疏奖励任务上的四类机器人上评估该模型。实验结果表明，CMS-PRL生成多样、可复用的运动技能以解决各种下游任务，并优于基线方法，特别是在高自由度机器人和复杂任务中。