用于实时手势识别和动态三维形状重建的模块化软体手套
机器人学
2025-07-04 v2
摘要
随着人机交互( HCI)需求的增加，灵活可穿戴手套作为一种有前景的解决方案在虚拟现实、医学康复和工业自动化中涌现。然而，当前技术仍存在灵敏度不足和耐用性有限的问题，阻碍了其广泛应用。本文提出了一种基于线形电极和液态金属(EGaIn)的高灵敏度、模块化和灵活电容传感器，集成到针对人手解剖结构量身定制的传感器模块中。该系统独立捕获每根手指关节的弯曲信息，同时通过相邻手指之间的额外测量实现对手指间距细微变化的记录。该设计 enables 对复杂运动的准确手势识别和动态手部形状重建。实验结果表明，我们基于卷积神经网络(CNN)和多层感知器(MLP)的分类器在30种手势上实现了99.15%的准确率。同时，基于Transformer的深度神经网络(DNN)准确重建动态手部形状，平均距离为 mm， individual key points的重建精度比SOTA基准提高了9.7%至64.9%。该手套在手势识别和手部重建方面表现出卓越的准确性、鲁棒性和可扩展性，为下一代HCI系统提供了有前景的解决方案。
引用
@article{arxiv.2504.05983,
title = {Modular Soft Wearable Glove for Real-Time Gesture Recognition and Dynamic 3D Shape Reconstruction},
author = {Huazhi Dong and Chunpeng Wang and Mingyuan Jiang and Francesco Giorgio-Serchi and Yunjie Yang},
journal= {arXiv preprint arXiv:2504.05983},
year = {2025}
}