SPLite手：稀疏感知轻量级3D手势估计
计算机视觉与模式识别
2025-10-31 v3 人工智能
摘要
随着AR/VR设备普及，深度学习模型在边缘设备上的部署已成为关键挑战。这些设备需要实现实时推理、低功耗和最小延迟。许多框架设计者面临在效率和性能之间进行权衡的困境。我们设计了一种轻量级框架，采用编码器-解码器架构，并引入若干关键贡献以提高效率和准确性。我们在ResNet-18主干网络上应用稀疏卷积以利用手势图像中固有的稀疏性，实现了42%的端到端效率提升。此外，我们提出了我们自己的SPLite解码器。该新架构在树莓派5上将解码过程的帧率提升了3.1倍，同时保持与原来的准确性相当。为进一步优化性能，我们应用了量化感知训练，在保持准确性的同时显著减少了内存使用(在FreiHAND数据集上，PA-MPJPE仅从9.0 mm增加到9.1 mm)。总体而言，我们的系统在树莓派5 CPU（BCM2712四核Arm A76处理器）上实现了2.98倍的加速。我们的方法也在复合基准数据集上进行了评估，表明其在准确性方面与最先进的方法相当，同时在计算效率方面显著提升。
引用
@article{arxiv.2510.16396,
title = {SPLite Hand: Sparsity-Aware Lightweight 3D Hand Pose Estimation},
author = {Yeh Keng Hao and Hsu Tzu Wei and Sun Min},
journal= {arXiv preprint arXiv:2510.16396},
year = {2025}
}
备注
Accepted to AICCC 2025