轻量级手部网格与生物力学可行运动学参数估计

由于固有的深度模糊性和经常出现的强自遮挡，3D 手部姿态估计一直是机器人与计算机视觉领域的长期挑战。近来，除手部骨架外，联合估计手部姿态与形状受到更多关注。最先进的方法采用无模型方法，直接估计手部网格顶点，并相比直接回归参数化手部网格参数的传统基于模型方法具有更优精度。然而，由于需估计大量网格顶点，这些方法推理通常较慢。我们提出一种先前提出的 image-to-lixel 方法的高效变体，以从图像高效估计手部网格。借助高效神经架构的最新进展，我们在不牺牲估计精度的前提下显著降低计算复杂度。此外，我们引入一个逆向运动学（IK）网络，将估计的手部网格转换为一组生物力学可行的关节旋转参数，这对于利用姿态估计控制机械手的应用是必要的。最后，提出一个可选后处理模块以优化旋转和形状参数，补偿 IK 网络引入的误差。我们的 Lite I2L Mesh Net 以不到原始 I2L 手部网格估计器总计算复杂度 $13\%$ 的代价实现了最先进的关节与网格估计精度。加入 IK 网络与后优化模块能以较小计算代价略微提升精度，但更重要的是，提供了机械手应用所需的运动学参数。