基于去噪扩散的图像三维手部姿态估计
计算机视觉与模式识别
2023-08-21 v1
摘要
从单幅图像进行手部姿态估计具有许多应用。然而，全身三维姿态估计的方法通常在日常活动或动作上训练。因此，详细的双手交互表现很差，尤其是在运动过程中。我们在 OpenPose 或 MediaPipe 等技术的失败案例中看到了这一点。然而，对于许多全局身体运动不如精确手部姿态估计重要的应用而言，准确的手部姿态估计至关重要。本文解决了从单目图像或序列进行三维手部姿态估计的问题。我们提出了一种新颖的端到端三维手部回归框架，该框架采用扩散模型，其已展现出卓越的捕捉数据分布以用于生成目的的能力。此外，我们通过将显式前向运动学层作为网络的一部分来施加运动学约束，以确保生成逼真的姿态。所提出的模型在将二维单手图像提升为三维时提供了最先进的性能。然而，当序列数据可用时，我们在连续帧的时间窗口上添加 Transformer 模块以优化结果，克服抖动并进一步提高精度。该方法经过定量与定性评估，在多个不同数据集上展现出最先进的鲁棒性、泛化性和准确性。
引用
@article{arxiv.2308.09523,
title = {Denoising Diffusion for 3D Hand Pose Estimation from Images},
author = {Maksym Ivashechkin and Oscar Mendez and Richard Bowden},
journal= {arXiv preprint arXiv:2308.09523},
year = {2023}
}