用手交谈：利用 CNN 扩展手势及其识别
计算机视觉与模式识别
2019-09-02 v2 人机交互
机器学习
摘要
使用手势为人机交互（HCI）系统提供了一种替代繁琐接口设备的自然选择。随着技术进步以及人与机器之间的通信变得愈发复杂，HCI 系统也应相应扩展以容纳所引入的复杂性。本文中，我们提出一种通过预定义手势音素构成手势来实现手势扩展的方法，以及一种基于卷积神经网络（CNN）的框架，通过仅学习手势音素成分来识别手势。通过增加所用手势音素的数量，可能的手势总数可呈指数增长。为此，我们引入了一个名为 Scaled Hand Gestures Dataset (SHGD) 的新基准数据集，其训练集仅含手势音素，测试集为三元组手势。在实验分析中，我们分别以 98.47%（15 类）和 94.69%（810 类）的准确率识别了含一个和三个手势音素的手势。我们的数据集、代码和预训练模型均已公开可用。
引用
@article{arxiv.1905.04225,
title = {Talking With Your Hands: Scaling Hand Gestures and Recognition With CNNs},
author = {Okan Köpüklü and Yao Rong and Gerhard Rigoll},
journal= {arXiv preprint arXiv:1905.04225},
year = {2019}
}
备注
Accepted to ICCV 2019 workshop - Observing and Understanding Hands in Action (HANDS 2019)