SAR：通过协同动作表征实现生理敏捷性与灵巧性的泛化

在高维系统（包括肌肉骨骼智能体）中学习有效的连续控制策略仍是一项重大挑战。在生物演化过程中，生物体发展出稳健的机制来克服这种复杂性，从而学习高度精巧的运动控制策略。这种稳健的行为灵活性源于什么？通过肌肉协同（即协调的肌肉共收缩）进行的模块化控制，被认为是使生物体能在简化且可泛化的动作空间中学习肌肉控制的一种可能机制。受这种演化出的运动控制策略启发，我们使用生理精确的人手与腿部模型作为测试平台，以确定从更简单任务中获得的协同动作表征（SAR）在多大程度上有助于学习更复杂的任务。我们在两种情况下均发现，利用 SAR 的策略显著优于端到端强化学习。采用 SAR 训练的策略能以高样本效率在多种地形上实现稳健运动，而基线方法未能学习到有意义的行为。此外，在多头物体操控任务中，采用 SAR 训练的策略成功率显著更高（>70%），而基线方法成功率低于 20%。这两种利用 SAR 的策略还被发现能零样本泛化至域外环境条件，而未采用 SAR 的策略则无法泛化。最后，我们借助机器人操控任务集和全身人形运动任务，确立了 SAR 在更广义高维控制问题上的通用性。据我们所知，本研究首次提出了一套端到端流程，用于发现协同并运用该表征在广泛多样的任务中学习高维连续控制。