使用卷积神经网络的实时手势检测与分类
计算机视觉与模式识别
2019-10-21 v3 人工智能
摘要
从视频流中实时识别动态手势是一项具有挑战性的任务，因为 (i) 视频中没有指示手势何时开始和结束，(ii) 执行的手势应仅被识别一次，以及 (iii) 整个架构的设计应考虑内存和功耗预算。在这项工作中，我们通过提出一种层次化结构来解决这些挑战，该结构利用滑动窗口方法使离线工作的卷积神经网络（CNN）架构能高效地在线运行。所提架构由两个模型组成：(1) 一个轻量级CNN架构的检测器用于检测手势，以及 (2) 一个深度CNN的分类器用于对检测到的手势进行分类。为了评估检测到手势的单次激活，我们提出使用 Levenshtein 距离作为评估指标，因为它可同时衡量误分类、多次检测和漏检测。我们在两个公开可用数据集——EgoGesture 和 NVIDIA Dynamic Hand Gesture Datasets——上评估我们的架构，这些数据集需要对执行的手势进行时间检测与分类。用作分类器的 ResNeXt-101 模型在 EgoGesture 和 NVIDIA 基准的深度模态上分别取得了 94.04% 和 83.82% 的最先进（SOTA）离线分类准确率。在实时检测与分类中，我们在取得接近离线操作性能的同时获得了可观的早期检测。本工作中使用的代码和预训练模型已公开可用。
引用
@article{arxiv.1901.10323,
title = {Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks},
author = {Okan Köpüklü and Ahmet Gunduz and Neslihan Kose and Gerhard Rigoll},
journal= {arXiv preprint arXiv:1901.10323},
year = {2019}
}
备注
Published at IEEE International Conference on Automatic Face and Gesture Recognition (FG 2019) - Best student paper award! -