利用前臂超声同时估计手部构型与手指关节角度
摘要
随着计算和机器人技术的发展，有必要开发流畅直观的方法来与数字系统、增强/虚拟现实 (AR/VR) 接口以及物理机器人系统进行交互。手部运动识别被广泛用于实现这些交互。手部构型分类与 MCP 关节角度检测对于手部运动的全面重建十分重要。sEMG 及其他技术已用于检测手部运动。前臂超声图像提供了可用于理解手部运动的肌肉骨骼可视化。近期工作表明，这些超声图像可使用机器学习进行分类以估计离散手部构型。基于前臂超声同时估计手部构型与 MCP 关节角度在文献中尚未被研究。本文中，我们提出一种基于 CNN 的深度学习流程来预测 MCP 关节角度。手部构型分类的结果通过使用不同机器学习算法进行比较。具有不同核的 SVC、MLP 以及所提出的 CNN 已被用于将超声图像分类为基于日常活动的 11 种手部构型。从前臂采集了 6 名受试者的超声图像，受试者被指示按照预定义的手部构型移动其手。获取运动捕捉数据以得到对应于不同速度下手部运动的手指角度。在数据集的一个子集上，所提出 CNN 的平均分类准确率为 82.7%，不同核的 SVC 超过 80%。预测与真实 MCP 关节角度之间的平均 RMSE 为 7.35 度。我们提出了一种低延迟 (6.25 - 9.1 Hz) 的流程，用于估计 MCP 关节角度与手部构型，旨在实现人机接口的实时控制。
引用
@article{arxiv.2211.15871,
title = {Simultaneous Estimation of Hand Configurations and Finger Joint Angles using Forearm Ultrasound},
author = {Keshav Bimbraw and Christopher J. Nycz and Matt Schueler and Ziming Zhang and Haichong K. Zhang},
journal= {arXiv preprint arXiv:2211.15871},
year = {2022}
}
备注
Manuscript ACCEPTED for publication in IEEE Transactions on Medical Robotics and Bionics (TMRB). 13 pages, 11 figures, and 5 tables. arXiv admin note: text overlap with arXiv:2109.11093