基于锚点与使用深度神经网络的单目 RGB 图像指尖位置估计方法

在虚拟、增强与混合现实中，使用手势正日益流行，以缩小虚拟与现实世界之间的差距。指尖的精确定位对于无缝体验至关重要。许多研究工作基于使用深度信息来估计指尖位置。然而，大多数使用 RGB 图像进行指尖检测的工作仅限于单根手指。由于多种因素，从单张 RGB 图像中检测多根指尖极具挑战性。本文中，我们提出一种基于深度神经网络（DNN）的方法来估计指尖位置。我们将该方法命名为基于锚点的指尖位置估计（ABFPE），其为一个两步过程。指尖位置通过回归估计，即计算指尖相对于最近锚点位置的差值。所提框架性能最佳，且对手部检测结果的依赖有限。在 SCUT-Ego-Gesture 数据集上的实验中，我们在分辨率为 $640 \times 480$ 的视频帧上实现了 2.3552 像素的指尖检测误差，且约 $92.98\%$ 的测试图像平均像素误差为五像素。