基于物理的人体运动捕捉的最优状态动力学估计

单目视频的人体运动捕捉近年来取得了显著进展。然而，现代方法常常产生时间性 artifacts，例如运动抖动，难以实现平滑且物理上合理的运动。通过显式集成物理模型（如内部力和外部扭矩），可有助于缓解这些 artifacts。当前的前沿方法利用自动PD控制器预测扭矩和反应力，以重新仿真输入的运动学，即预定义骨架的关节角。然而，由于物理模型不完美，这些方法常需作出简化假设并对输入运动学进行大量预处理以实现良好性能。为此，我们提出一种新方法，在在线设置下，受神经卡尔曼滤波方法的启发，选择性地将物理模型与运动学观察融合。我们开发了作为元PD控制器的控制回路，用于预测内部关节扭矩和外部反应力，随后进行基于物理的运动仿真。引入循环神经网络以实现卡尔曼滤波器，能主动平衡运动学输入与仿真运动，从而实现最优状态动力学预测。我们表明，这一过滤步骤对于提供在线监督至关重要，有助于平衡各自输入运动的局限性，从而不仅有助于捕捉准确的全局运动轨迹，还能产生物理上合理的人体姿态。该方法在基于物理的人体姿态估计任务中表现优异，预测的动力学具有良好的物理合理性。代码已发布于 https://github.com/cuongle1206/OSDCap