EvHandPose：基于事件的稀疏监督三维手部姿态估计
计算机视觉与模式识别
2023-12-29 v3 人工智能
摘要
事件相机在三维手部姿态估计中展现出巨大潜力，尤其以低功耗方式应对快速运动和高动态范围的挑战。然而，由于异步差分成像机制，设计编码手部运动信息的事件表示具有挑战性，特别是在手部不运动时（导致运动模糊），并且对时间密集的事件流进行完整标注是不可行的。在本文中，我们提出 EvHandPose，其在 Event-to-Pose 模块中具有新颖的手部流表示，用于准确的手部姿态估计并缓解运动模糊问题。为解决稀疏标注下的问题，我们在 Pose-to-IWE（Image with Warped Events）模块中设计对比最大化和手部边缘约束，并将 EvHandPose 构建于弱监督框架中。我们进一步构建了 EvRealHands，这是首个基于多个挑战性场景的大规模真实世界事件手部姿态数据集，以弥合真实-合成域差距。在 EvRealHands 上的实验表明，EvHandPose 在所有评估场景下均优于以往基于事件的方法，与基于 RGB 的方法相比在快速运动和高光场景下实现了高时间分辨率的准确且稳定的手部姿态估计，能很好地泛化到室外场景和另一种事件相机，并展现出在手势识别任务上的潜力。
引用
@article{arxiv.2303.02862,
title = {EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision},
author = {Jianping Jiang and Jiahe Li and Baowen Zhang and Xiaoming Deng and Boxin Shi},
journal= {arXiv preprint arXiv:2303.02862},
year = {2023}
}