SimpleEgo: 从头戴式摄像头预测概率性人体姿态

我们的工作解决了从头戴式设备（HMD）上的向下摄像头进行以自我为中心的人体姿态估计问题。这提出了一个具有挑战性的场景，因为身体部位经常落在图像之外或被遮挡。以往的解决方案通过使用鱼眼相机镜头来捕获更宽的视野来最小化这个问题，但这些可能带来硬件设计问题。它们还预测每个关节的2D热图并将其提升到3D空间以处理自遮挡，但这需要大型网络架构，不便于在资源受限的HMD上部署。我们使用传统直线相机镜头捕获的图像来预测姿态。这解决了硬件设计问题，但意味着身体部位经常在画面之外。因此，我们直接回归表示为矩阵Fisher分布的参数化身体模型的概率性关节旋转。这使我们能够量化姿态不确定性并解释画面外或被遮挡的关节。这也消除了计算2D热图的需要，并允许使用需要更少计算量的简化DNN架构。鉴于缺乏使用直线相机镜头的以自我为中心的数据集，我们引入了SynthEgo数据集，这是一个包含6万张立体图像的合成数据集，具有高度多样性的姿态、形状、服装和肤色。我们的方法在这种具有挑战性的配置上取得了最先进的结果，将平均每关节位置误差整体降低了23%，下半身降低了58%。我们的架构参数数量也减少了八倍，运行速度是当前最先进技术的两倍。实验表明，在我们的合成数据集上进行训练，无需微调即可很好地泛化到真实世界图像。