基于深度神经网络自适应的手语者无关手指拼写识别
计算与语言
2016-02-16 v1 计算机视觉与模式识别
神经与进化计算
摘要
我们研究美国手语中在手语者无关设定下手指拼写的字母序列识别问题。手指拼写序列的识别既具挑战性又十分重要，因为它们用于许多内容词如专有名词和技术术语。先前工作表明，在手语者相关设定下手指拼写识别可达到近90%准确率。然而，更现实的手语者无关设定因手语者间的显著差异，加上可用训练数据的匮乏，带来了挑战。我们借助受自动语音识别启发的方法研究此问题。我们从先前工作中基于串联模型(tandem models)和分段条件随机场(SCRFs)的最佳性能方法出发，其特征基于字母和音系特征的深度神经网络(DNN)分类器。使用DNN自适应，我们发现有可能弥合手语者相关与手语者无关性能之间的大部分差距。仅使用来自目标手语者约115个转写词进行自适应，我们在帧级自适应标签下获得高达82.7%的字母准确率，在仅词标签下获得69.7%。
引用
@article{arxiv.1602.04278,
title = {Signer-independent Fingerspelling Recognition with Deep Neural Network Adaptation},
author = {Taehwan Kim and Weiran Wang and Hao Tang and Karen Livescu},
journal= {arXiv preprint arXiv:1602.04278},
year = {2016}
}