基于卷积神经网络与迁移学习的瑞典手语解释
计算机视觉与模式识别
2020-10-16 v1 人工智能
摘要
手语的自动解释是一项具有挑战性的任务，因为它需要使用高级视觉和高级运动处理系统以提供准确的图像感知。在本文中，我们利用卷积神经网络（CNNs）和迁移学习，使计算机能够解释瑞典手语（SSL）手指字母的手势。我们的模型包括预训练的 InceptionV3 网络的实现，以及小批量梯度下降优化算法的使用。我们在模型的预训练及其数据期间依赖迁移学习。基于 8 名受试者和 9,400 张图像，模型的最终准确率为 85%。我们的结果表明，CNNs 的使用是解释手语的一种有前景的方法，且尽管使用较小的训练数据集，迁移学习可用于实现较高的测试准确率。此外，我们将解释手势的模型实现细节描述为一个用户友好的 Web 应用。
引用
@article{arxiv.2010.07827,
title = {Interpretation of Swedish Sign Language using Convolutional Neural Networks and Transfer Learning},
author = {Gustaf Halvardsson and Johanna Peterson and César Soto-Valero and Benoit Baudry},
journal= {arXiv preprint arXiv:2010.07827},
year = {2020}
}