HMP：用于基于视频的姿态与形状估计的手部运动先验
计算机视觉与模式识别
2023-12-29 v1
摘要
理解人类如何与世界交互需要准确的 3D 手部姿态估计，但由于手部的高自由度、频繁遮挡、自我遮挡和快速运动，这一任务变得复杂。尽管大多数现有方法依赖单帧图像输入，但视频包含了解决上述问题的有用线索。然而，现有的基于视频的 3D 手部数据集不足以训练前馈模型以泛化至自然场景。另一方面，我们可以获取包含手部运动的大型人体运动捕捉数据集，例如 AMASS。因此，我们开发了一种专门针对手部的生成式运动先验，该先验在包含多样且高质量手部运动的 AMASS 数据集上训练。随后，该运动先验通过潜在优化方法应用于基于视频的 3D 手部运动估计。我们对鲁棒运动先验的集成显著提升了性能，尤其是在遮挡场景中。它产生了稳定且时间一致的结果，超越了传统的单帧方法。我们通过在 HO3D 和 DexYCB 数据集上的定性和定量评估证明了该方法的有效性，并特别关注了 HO3D 中以遮挡为重点的子集。代码可在 https://hmp.is.tue.mpg.de 获取。
引用
@article{arxiv.2312.16737,
title = {HMP: Hand Motion Priors for Pose and Shape Estimation from Video},
author = {Enes Duran and Muhammed Kocabas and Vasileios Choutas and Zicong Fan and Michael J. Black},
journal= {arXiv preprint arXiv:2312.16737},
year = {2023}
}