在孤立手势识别中使用深度 CNN 特征评估隐马尔可夫模型
计算机视觉与模式识别
2021-05-11 v2
摘要
由于手势的多模态特性，需同时关注局部与全局手部特征及面部姿态，从视频流中进行孤立手势识别是一个具有挑战性的问题。近期该研究已广泛采用基于深度卷积神经网络（CNN）的特征与基于长短期记忆（LSTM）的深度序列模型。然而，现有文献缺乏使用隐马尔可夫模型（HMM）结合深度特征的实证分析。本研究中，我们提供一个由三个模块组成的框架，使用不同序列模型解决孤立手势识别问题。深度特征的维度通常过大而难以与 HMM 模型配合。为解决此问题，我们提出两种基于 CNN 的替代架构作为框架的第二模块，以有效降低深度特征维度。经大量实验，我们表明使用预训练的 Resnet50 特征及我们的一种基于 CNN 的降维模型，HMM 在 Montalbano 数据集上利用 RGB 与骨骼数据能以 90.15% 准确率分类孤立手势。该性能可与当前基于 LSTM 的模型相媲美。HMM 参数更少，且可在普通计算机上快速训练与运行，无需 GPU。因此，我们基于深度特征的分析表明，在具挑战性的孤立手势识别问题中，HMM 亦可如深度序列模型一样被有效利用。
引用
@article{arxiv.2006.11183,
title = {Evaluation Of Hidden Markov Models Using Deep CNN Features In Isolated Sign Recognition},
author = {Anil Osman Tur and Hacer Yalim Keles},
journal= {arXiv preprint arXiv:2006.11183},
year = {2021}
}
备注
This paper is the preprint of the accepted manuscript at Multimedia Tools and Applications Journal. It contains 16 pages, 5 figure, 8 tables