基于深度学习的动态手势识别三流混合模型
计算机视觉与模式识别
2024-08-16 v1
摘要
在现代背景下，手势识别已成为焦点。这归因于其广泛的应用范围，包括理解手语、工厂、无手设备以及引导机器人。许多研究者尝试开发更有效的手势识别技术。然而，存在数据集限制、手部形态变化、外部环境以及光照条件不一致等挑战。为应对这些挑战，我们提出了一种新颖的三流混合模型，结合RGB像素和骨架特征来识别手势。在处理过程中，我们对数据集进行了预处理，包括数据增强，以使旋转、平移和缩放独立。我们采用三流混合模型利用深度学习模块的力量提取多特征融合。在第一流中，我们使用预训练的ImageNet模块提取初始特征，然后通过多层GRU和LSTM模块增强该特征。在第二流中，我们使用预训练的ReseNet模块提取初始特征，并通过GRU和LSTM模块的各种组合进行增强。在第三流中，我们使用MediaPipe提取手部姿态关键点，然后通过堆叠LSTM增强以产生层次化特征。之后，我们将三个特征拼接以产生最终特征。最后，我们采用分类模块生成概率图以产生预测输出。我们主要通过利用基于像素的深度学习特征和基于姿态估计的堆叠深度学习特征，包括预训练模型与改进的深度学习模型相结合，产生强大的特征向量，实现了无与伦比的手势检测能力。
引用
@article{arxiv.2408.08035,
title = {An Advanced Deep Learning Based Three-Stream Hybrid Model for Dynamic Hand Gesture Recognition},
author = {Md Abdur Rahim and Abu Saleh Musa Miah and Hemel Sharker Akash and Jungpil Shin and Md. Imran Hossain and Md. Najmul Hossain},
journal= {arXiv preprint arXiv:2408.08035},
year = {2024}
}