基于物理的从稀疏输入进行运动重定向

虚拟世界中，化身对于创建交互式和沉浸式体验十分重要。让这些角色模仿用户运动的一个挑战是，商用 AR/VR 产品仅由头显和控制器组成，提供的用户姿态传感器数据非常有限。另一个挑战是化身可能具有与人不同的骨骼结构，且二者间映射不明确。本工作同时解决这两个挑战。我们提出一种将稀疏人体传感器数据实时重定向到多种形态角色的方法。我们的方法使用强化学习训练策略以在物理模拟器中控制角色。我们仅需要人体动作捕捉数据用于训练，而不依赖为每个化身人工生成的动画。这使我们能使用大型动作捕捉数据集训练通用策略，可从真实稀疏数据实时跟踪未见过的用户。我们在三个具有不同骨骼结构的角色（恐龙、类鼠生物和人）上展示了方法的可行性。结果表明，尽管没有下半身传感器信息，化身姿态常与用户惊人地匹配。我们讨论并消融了框架中的重要组件，特别是运动学重定向步骤、模仿、接触与动作奖励以及非对称 actor-critic 观测。我们进一步探索了方法在失衡、舞蹈和体育动作等多种设置下的鲁棒性。