Ego3DPose：从双目第一视角捕获三维线索

我们提出Ego3DPose，一种高精度的双目第一视角三维姿态重建系统。双目第一视角设置在多种应用中具备实用性与效用，然而其仍很大程度上未被充分探索。它一直受困于因视角的畸变、严重的自遮挡以及第一视角二维图像中关节有限视野所导致的低姿态估计精度。在此，我们注意到包含于第一视角双目输入中的两个重要三维线索——立体对应与透视——被忽视了。当前方法严重依赖二维图像特征，隐式地学习三维信息，这引入了对常见观测动作的偏置并导致较低的整体精度。我们观察到它们不仅在具挑战性的遮挡情形中失败，而且在估计可见关节位置时也失败。为应对这些挑战，我们提出两种新方法。首先，我们设计了一种双路径网络架构，其中一条路径利用其双目热图独立地逐肢体估计姿态。在没有提供全身信息的情况下，它缓解了对已训练全身分布的偏置。其次，我们利用身体肢体的第一视角视图，其展现出强烈的透视变化（例如，当手靠近相机时尺寸显著变大）。我们提出一种基于三角学的新的透视感知表示，使网络能够估计肢体的三维朝向。最后，我们开发了一个端到端的姿态重建网络，协同两种技术。我们全面的评估表明，Ego3DPose在UnrealEgo数据集上以姿态估计误差（即MPJPE）降低23.1%优于最先进（state-of-the-art）模型。我们的定性结果突显了我们的方法在一系列场景与挑战中的优越性。