孤立瑞典手语手势的视觉识别
计算机视觉与模式识别
2012-11-19 v1
摘要
我们提出了一种识别孤立瑞典手语手势的方法。该方法将用于一款旨在帮助儿童在家练习手语的游戏，作为教师指导训练的补充。目标群体主要不是聋哑儿童，而是有语言障碍的儿童。研究表明，在对话中使用手语作为支持能极大地促进这类儿童的语言发展。我们使用 RGB-D (Kinect) 传感器捕捉签名者，相较于普通 RGB 相机，它具有三个优势。首先，它可以轻松去除复杂背景。我们基于肤色和深度信息分割手部和面部。其次，它有助于解决手部遮挡面部的问题。第三，手语发生在三维空间中；手语的某些方面由垂直于图像平面的手部运动定义。如果可观测到深度，则可以估计这种运动。我们将手部相对于躯干的 3D 运动与手形一起作为线索，并使用以此输入训练的隐马尔可夫模型 (HMMs) 进行分类。为了获得对签名者之间差异的更高鲁棒性，我们使用 Fisher 线性判别分析来找出对每个手势最具描述性的特征组合，而不受签名者影响。实验表明，该系统能够区分具有挑战性的 94 词词汇表，在依赖签名者的情况下精度高达 94%，在不依赖签名者的情况下精度高达 47%。
引用
@article{arxiv.1211.3901,
title = {Visual Recognition of Isolated Swedish Sign Language Signs},
author = {Saad Akram and Jonas Beskow and Hedvig Kjellstrom},
journal= {arXiv preprint arXiv:1211.3901},
year = {2012}
}