基于 Koopman 姿态预测的时序一致人体行走估计

我们解决人体下半身追踪问题，作为面向临床 mobility 评估的自动运动评估系统的初步步骤，采用结合惯性测量单元（IMU）数据、RGB 图像与点云深度测量的多模态系统。该系统将因子图表示应用于提供 3-D 骨骼关节估计的优化问题。本文中，我们聚焦于提升估计人体轨迹的时序一致性，以大幅扩展深度传感器的可操作范围。更具体地，我们引入一种基于 Koopman 理论的新因子图因子，其嵌入了若干下肢运动活动的非线性动力学。该因子执行两步过程：首先，一个基于时空图卷积网络的定制活动识别模块识别行走活动；随后，后续骨骼的 Koopman 姿态预测被用作先验估计，以驱动优化问题趋向更一致的结果。我们在由多项临床下肢 mobility 测试组成的数据集上测试了该模块性能，并表明我们的方法将骨骼形态上的离群值减少了近 1 m，同时在深达 10 m 以上的距离处保持自然行走轨迹。