DeltaDorsal：在自我中心视角下利用手背特征增强手部姿态估计
计算机视觉与模式识别
2026-01-27 v2 人机交互
机器学习
摘要
XR设备的普及使得自我中心手部姿态估计成为一项重要任务，然而该视角固有地受到频繁手指遮挡的挑战。为了解决这一问题，我们提出了一种新方法，利用密集视觉特征提取器的最新进展所释放的手背皮肤变形中的丰富信息。我们引入了一种双流增量编码器，通过将动态手部与基线放松位置的特征进行对比来学习姿态。我们的评估表明，在自遮挡场景（手指遮挡 >= 50%）中，与依赖整手几何和大型模型骨干的最先进技术相比，仅使用裁剪后的手背图像，我们的方法将平均每关节角度误差（MPJAE）降低了18%。因此，我们的方法不仅增强了遮挡场景下食指捏合和点击估计等下游任务的可靠性，而且在最小化模型尺寸的同时，解锁了新的交互范式，例如在没有可见运动的情况下检测表面“点击”的等距力。
引用
@article{arxiv.2601.15516,
title = {DeltaDorsal: Enhancing Hand Pose Estimation with Dorsal Features in Egocentric Views},
author = {William Huang and Siyou Pei and Leyi Zou and Eric J. Gonzalez and Ishan Chatterjee and Yang Zhang},
journal= {arXiv preprint arXiv:2601.15516},
year = {2026}
}
备注
16 pages, 11 figures, Presented at ACM CHI 2026. For associated codebase, see https://github.com/hilab-open-source/deltadorsal