基于动力学的手部三维骨骼跟踪

完整跟踪手部和手指的骨骼姿态是一个具有挑战性的问题，在用户交互方面有大量应用。现有技术要么需要可穿戴硬件，要么对用户姿态施加限制，要么需要大量计算资源。本研究探索了一种通过使用增强刚体模拟来跟踪手部或任何铰接模型的新方法。这使得我们能够将三维物体跟踪表述为一个具有明确定义解的线性互补问题。基于深度传感器的采样，系统生成约束条件，限制垂直于刚体模型表面的运动。这些约束条件连同先验运动、碰撞/接触约束以及关节力学，通过投影高斯-赛德尔求解器进行求解。由于相机噪声特性和附着误差，众多表面约束被施加冲量上限，以避免压倒力学约束。为了提高跟踪精度，在每一帧生成多个模拟，并输入各种启发式方法、约束条件和姿态。三维误差度量选择最佳拟合模拟，帮助系统处理具有挑战性的手部运动。这种方法能够在各种深度摄像头上实现对用户手部的实时、鲁棒且精确的三维骨骼跟踪，同时仅使用单个x86 CPU核心进行处理。