ReJSHand：基于精炼关节与骨架特征的高效实时手部姿态估计与网格重建
机器人学
2025-03-11 v1
摘要
精准的手部姿态估计对于机器人领域的灵巧操作和人机交互至关重要。为此目的，本文提出ReJSHand（即Refined Joint and Skeleton Features的缩写），这是一种面向实时手部姿态估计和网格重建的前沿网络。该框架旨在满足实时约束下准确预测3D手势，这对于需要敏捷和响应手势跟踪的系统至关重要。网络设计以计算效率为首要考虑，同时不损害精度，这是实现即时机器人交互的必要条件。具体而言，ReJSHand包括2D关键点生成器、3D关键点生成器、扩张模块和特征交互模块，用于从2D图像中精细重建3D手部姿态。此外，多头自注意力机制和坐标注意力层增强了特征表示，通过精细的特征映射和线性变换，简化了手部网格顶点的创建。关于性能，针对FreiHand数据集进行了全面评估，表明ReJSHand在计算性能上具有卓越表现。其实现帧率可达72帧/秒，保持PA-MPJPE（位置准确的平均关节位置误差）为6.3 mm，PA-MPVPE（位置准确的平均顶点位置误差）为6.4 mm。此外，该模型在F@05得分达到0.756，在F@15得分达到0.984，超越了现代流水线，确立了其在机器人手部姿态估计器中处于前沿位置。为便于后续研究，我们将提供源代码置于\url{https://github.com/daishipeng/ReJSHand}。
引用
@article{arxiv.2503.05995,
title = {ReJSHand: Efficient Real-Time Hand Pose Estimation and Mesh Reconstruction Using Refined Joint and Skeleton Features},
author = {Shan An and Shipeng Dai and Mahrukh Ansari and Yu Liang and Ming Zeng and Konstantinos A. Tsintotas and Changhong Fu and Hong Zhang},
journal= {arXiv preprint arXiv:2503.05995},
year = {2025}
}