迁移学习在基于膨胀三维深度卷积神经网络的手语识别中的应用
计算机视觉与模式识别
2021-03-10 v1 机器学习
摘要
手语是听力受损人群的主要语言。手语识别（SLR）是对自动识别手语，这对计算机而言是一个具有挑战性的问题，尽管近期使用深度学习已取得一些进展。训练深度学习模型通常需要海量数据。然而，对于大多数手语而言，相应的数据集是缺失的。迁移学习是一种利用具有丰富数据的相关任务来帮助解决缺乏充足数据的目标任务的技术。迁移学习已在计算机视觉和自然语言处理中得到极为成功的应用。然而，在 SLR 领域的研究则要少得多。本文研究了使用膨胀三维卷积神经网络作为深度学习架构，将迁移学习应用于孤立手语识别的有效程度。迁移学习通过在美国手语数据集 MS-ASL 上预训练网络，随后分别在三种不同规模的德国手语数据集 SIGNUM 上对其进行微调来实现。实验结果给出了明确的经验证据，表明迁移学习可有效应用于孤立 SLR。与应用了在 MS-ASL 数据集上预训练的迁移学习的网络相比，未预训练的基线模型的准确率表现大幅提升了至多 21%。
引用
@article{arxiv.2103.05111,
title = {Application of Transfer Learning to Sign Language Recognition using an Inflated 3D Deep Convolutional Neural Network},
author = {Roman Töngi},
journal= {arXiv preprint arXiv:2103.05111},
year = {2021}
}
备注
11 pages