IPN Hand：面向实时连续手势识别的视频数据集与基准
计算机视觉与模式识别
2020-10-21 v2
摘要
本文引入一个名为 IPN Hand 的新基准数据集，该数据集具有足够的规模、多样性和真实世界元素，能够训练和评估深度神经网络。该数据集包含来自 50 个不同受试者的超过 4,000 个手势样本和 800,000 帧 RGB 图像。我们设计了 13 种不同的静态和动态手势，专注于与非接触式屏幕的交互。我们特别考虑了连续手势执行时无过渡状态、以及受试者手部自然运动作为非手势动作的场景。手势采集自约 30 个不同场景，背景和光照具有真实世界的变化。利用我们的数据集，我们评估了三种 3D-CNN 模型在孤立和连续实时手部手势识别（HGR）任务上的性能。此外，我们分析了在保持 3D-CNN 模型实时性能的同时，通过添加从 RGB 帧导出的多种模态（即光流和语义分割）来提高识别准确率的可能性。我们的实证研究还与公开的 nvGesture（NVIDIA）数据集进行了比较。实验结果表明，最先进的 ResNext-101 模型在使用我们的真实世界数据集时准确率下降约 30%，证明 IPN Hand 数据集可作为基准，并可能帮助社区在连续 HGR 领域向前迈进。我们的数据集和评估中使用的预训练模型已在 https://github.com/GibranBenitez/IPN-hand 公开。
引用
@article{arxiv.2005.02134,
title = {IPN Hand: A Video Dataset and Benchmark for Real-Time Continuous Hand Gesture Recognition},
author = {Gibran Benitez-Garcia and Jesus Olivares-Mercado and Gabriel Sanchez-Perez and Keiji Yanai},
journal= {arXiv preprint arXiv:2005.02134},
year = {2020}
}
备注
Accepted at ICPR 2020