作为实时 PD 控制的自我姿态估计与预测

我们提出使用通过强化学习（RL）学习的比例-微分（PD）控制策略，从自我中心视频中估计并预测 3D 人体姿态。该方法直接从未经分割的自我中心视频以及包含各种复杂人体运动（如蹲伏、跳跃、弯曲及运动转换）的运动捕捉数据学习。我们提出了一种视频条件的循环控制技术，以预测任意长度的物理有效且稳定的未来运动。我们还引入了基于值函数的故障安全机制，使我们的方法能够作为对视频数据的单遍算法运行。在受控与真实场景数据上的实验表明，我们的方法在量化指标和运动视觉质量上均优于以往方法，并且足够鲁棒以直接迁移至真实世界场景。此外，我们的时间分析显示，姿态估计与预测结合使用可达到 30 FPS，使其适用于实时应用。