用于敏捷人类行为模仿与扩展运动合成的残差力控制

强化学习在通过从运动捕捉数据学习人形控制策略来合成逼真的人类行为方面显示出巨大潜力。然而，再现像芭蕾舞这样复杂的技能，或者稳定地模仿具有复杂过渡的长期人类行为，仍然非常具有挑战性。主要困难在于人形模型与真实人类之间的动力学不匹配。也就是说，真实人类的运动对于人形模型来说可能在物理上不可行。为了克服动力学不匹配，我们提出了一种新颖的方法——残差力控制（RFC），它通过向动作空间添加外部残差力来增强人形控制策略。在训练过程中，基于RFC的策略学习向人形施加残差力以补偿动力学不匹配并更好地模仿参考运动。在广泛动态运动上的实验表明，我们的方法在收敛速度和所学运动质量方面优于最先进的方法。值得注意的是，我们展示了一个由RFC驱动的基于物理的虚拟角色，它可以执行高度敏捷的芭蕾舞动作，如旋转、阿拉贝斯克和跳跃。此外，我们提出了一个双策略控制框架，其中运动学策略和基于RFC的策略协同工作，以合成多模态无限时域的人类运动，无需任何任务指导或用户输入。我们的方法是第一种成功从大规模人类运动数据集（Human3.6M）学习并生成多样化长期运动的人形控制方法。代码和视频可在https://www.ye-yuan.com/rfc获取。