Ego2HandsPose：一个用于以自我为中心的双手三维全局姿态估计的数据集

基于颜色的全局坐标系下双手三维姿态估计在许多应用中至关重要。然而，专门用于该任务的数据集极少，且现有数据集均不支持在非实验室环境下进行估计。这在很大程度上归因于三维手部姿态标注所需的复杂数据收集过程，这也导致难以获取具备在真实场景中估计所需的视觉多样性的实例。朝着这一目标，近期提出了大规模数据集 Ego2Hands 以解决真实场景中的双手分割与检测任务。所提出的基于合成的数据生成技术能够创建具备质量、数量和多样性且能很好泛化到未知领域的双手实例。在本工作中，我们提出 Ego2HandsPose，它是 Ego2Hands 的扩展，包含三维手部姿态标注，并且是首个支持在未知领域中进行基于颜色的双手三维跟踪的数据集。为此，我们开发了一套参数化拟合算法以实现：1) 使用单张图像进行三维手部姿态标注；2) 从二维到三维手部姿态的自动转换；3) 具有时间一致性的准确双手跟踪。我们对多阶段流水线提供了增量定量分析，并表明在我们的数据集上训练取得了最先进（SOTA）结果，显著优于其他数据集在以自我为中心的双手全局三维姿态估计任务上的表现。