基于前臂超声视频片段使用 3D 卷积神经网络的手势分类
计算机视觉与模式识别
2024-09-26 v1 机器人学
图像与视频处理
摘要
基于超声的手部运动估计是人机交互应用中的一个重要研究领域。前臂超声提供了手部运动期间肌肉形态变化的详细信息,可用于估计手势。先前的工作主要集中在使用卷积神经网络等技术分析二维(2D)超声图像帧。然而,这类 2D 技术无法从对应连续手部运动的超声数据片段中捕获时间特征。本研究使用基于 3D CNN 的技术来捕获超声视频片段内的时空模式以进行手势识别。我们比较了基于 2D 卷积的网络与基于 (2+1)D 卷积、基于 3D 卷积的网络以及我们提出的网络的性能。与使用 2D 卷积层训练的网络相比,我们的方法将手势分类准确率从 96.5 +/- 2.3% 提升至 98.8 +/- 0.9%。这些结果证明了使用超声视频片段提升手势分类性能的优势。
引用
@article{arxiv.2409.16431,
title = {Hand Gesture Classification Based on Forearm Ultrasound Video Snippets Using 3D Convolutional Neural Networks},
author = {Keshav Bimbraw and Ankit Talele and Haichong K. Zhang},
journal= {arXiv preprint arXiv:2409.16431},
year = {2024}
}
备注
Accepted to IUS 2024