基于 CNN+RNN 的深度与骨架数据的动态手势识别
计算机视觉与模式识别
2020-07-24 v1
摘要
人类活动与手势识别是快速增长的泛在智能领域（尤其是辅助生活与智能家居中）的重要组成部分。本文中，我们提议结合两种深度学习技术——卷积神经网络（CNN）与循环神经网络（RNN）——的力量，利用深度与骨架数据实现自动手势识别。这两类数据均可单独用于训练神经网络以识别手势。尽管已有报道称 RNN 在仅给定骨架信息时对各骨架关节运动序列的识别表现良好，本研究旨在利用深度数据并应用 CNN 从深度图像中提取重要的空间信息。CNN+RNN 串联因而能够更准确地识别手势序列。同时，研究了多种融合方式以结合骨架与深度信息，从而提取时空信息。在 dynamic hand gesture-14/28 数据集上取得了 85.46% 的总体准确率。
引用
@article{arxiv.2007.11983,
title = {CNN+RNN Depth and Skeleton based Dynamic Hand Gesture Recognition},
author = {Kenneth Lai and Svetlana N. Yanushkevich},
journal= {arXiv preprint arXiv:2007.11983},
year = {2020}
}