基于单台深度相机的两只交互手的实时姿态与形状重建

我们提出了一种用于两只强交互手的实时姿态与形状重建的新方法。我们的方法是首个结合了大量优良特性的双手跟踪方案，即它是无标记的、使用单台消费级深度相机、实时运行、处理手间与手内碰撞，并自动适应用户的手部形状。为实现这一点，我们将一个近期的参数化手部姿态与形状模型以及一个基于深度神经网络的稠密对应预测器嵌入到合适的能量最小化框架中。为训练对应预测网络，我们基于物理模拟合成了一个双手数据集，该数据集包含手部姿态与形状标注，同时避免了手间穿透。为实现实时速率，我们将模型拟合表述为一个非线性最小二乘问题，从而能够基于高效的 GPU 高斯-牛顿优化器来优化能量。我们在超越以往工作所展示复杂度的场景中展示了最先进的结果，包括紧密的双手抓握、显著的手间遮挡以及手势交互。