基于通道修剪 YOLOv5s 模型的鲁健手势识别系统构建的新型人机界面
计算机视觉与模式识别
2024-07-04 v1
摘要
手势识别（HGR）是增强人机交互体验的关键组件，尤其是在虚拟现实、游戏、智能家居自动化系统等多媒体应用中。用户可以通过准确检测和识别手势来无缝控制和导航这些应用。然而，在实际场景中，由于存在复杂背景、低光照照明、遮挡问题等，手势识别系统的性能有时会受到影响。另一个问题是构建一个快速且鲁健的手势控制人机界面（HCI）以实现实时响应。本文的总体目标是开发一个高效的手势检测和分类模型，利用通道修剪的 YOLOv5-small 模型，并用于构建一个具有快速响应时间（以毫秒计）和高检测速度（以帧率计）的手势控制 HCI。首先，选择 YOLOv5s 模型用于手势检测任务。接着，使用通道修剪算法对该模型进行简化。随后，对修剪后的模型进行进一步微调，以确保检测效率。我们与其他最先进的工作进行了比较，结果表明我们提出的方法在 mAP（平均平均精度）、精确率（%）、召回率（%）和 F1 分数（%）、快速推理时间（毫秒）和检测速度（帧率）方面均表现出优异。我们的方法为在实时场景下使用正确分类的手势命令控制 VLC 媒体播放器、Spotify 播放器等应用提供了部署已修剪 YOLOv5s 模型构建手势命令-based HCI 的途径。我们提议系统的平均检测速度已超过 60 帧/秒（fps），这满足了实时应用控制的理想要求。
引用
@article{arxiv.2407.02585,
title = {Novel Human Machine Interface via Robust Hand Gesture Recognition System using Channel Pruned YOLOv5s Model},
author = {Abir Sen and Tapas Kumar Mishra and Ratnakar Dash},
journal= {arXiv preprint arXiv:2407.02585},
year = {2024}
}