基于深度图的卷积神经网络实时手语手指拼写识别
计算机视觉与模式识别
2015-10-15 v3
摘要
手语识别对于聋人社区与听力多数群体之间自然便捷的沟通十分重要。我们迈出了使用基于深度图的卷积神经网络（CNNs）的自动手指拼写识别系统的高效初步步骤。本工作中，我们考虑了相较以往文献相对更多的类别数。我们利用从多个受试者收集的深度数据子集训练 CNN 以分类 31 个字母和数字。在使用不同学习配置（例如带验证与不带验证的超参数选择）时，我们对已观测手语者达到 99.99% 准确率，对新手语者达到 83.58% 至 85.49% 准确率。结果表明，随着训练中包含来自不同受试者的更多数据，准确率提高。单张图像预测的处理时间为 3 ms。据我们所知，该系统达到了最高准确率和速度。训练好的模型与数据集发布于我们的代码仓库。
引用
@article{arxiv.1509.03001,
title = {Real-time Sign Language Fingerspelling Recognition using Convolutional Neural Networks from Depth map},
author = {Byeongkeun Kang and Subarna Tripathi and Truong Q. Nguyen},
journal= {arXiv preprint arXiv:1509.03001},
year = {2015}
}
备注
2015 3rd IAPR Asian Conference on Pattern Recognition (ACPR)