面向3D手姿与形状估计的方向感知混合表示学习
计算机视觉与模式识别
2025-04-04 v2
摘要
大多数基于模型的3D手姿与形状估计方法直接从图像回归参数化模型参数，以获取弱监督下的3D关节。然而，这些方法涉及解耦大量局部最优点的复杂优化问题，导致训练困难。为此，本文提出学习方向感知混合特征（DaHyF），融合隐式图像特征与显式2D关节坐标特征。该融合通过相机坐标系中像素方向信息得以增强，用于估计姿态、形状和相机视角。我们的方法直接预测DaHyF表示下的3D手姿，并利用基于对比学习的预测置信度减少运动捕捉中的抖动。在FreiHAND数据集上进行评估显示，我们的方法在精度上超过现有SOTA方法超过33%。DaHyF在HO3Dv2和HO3Dv3榜单中，以Mean Joint Error（经过尺度和平移对齐）为评估指标名列前茅。与第二名结果相比，最大改进达到10%。我们还展示了其在实时运动捕捉场景中的有效性，该场景涉及手部位置变动、遮挡和运动模糊。
引用
@article{arxiv.2504.01298,
title = {Direction-Aware Hybrid Representation Learning for 3D Hand Pose and Shape Estimation},
author = {Shiyong Liu and Zhihao Li and Xiao Tang and Jianzhuang Liu},
journal= {arXiv preprint arXiv:2504.01298},
year = {2025}
}
备注
Accepted to CVPR 2025 workshop