美国手语中全局身体构型的建模
计算机视觉与模式识别
2020-09-04 v1 机器学习
摘要
美国手语(ASL)是美国第四大常用语言,也是美国及加拿大英语区聋人最常用语言。遗憾的是,直到最近 ASL 研究都很少。这部分归因于其在 William C. Stokoe 1960 年发表著作前未被承认为一门语言。有限的数据一直是 ASL 研究与计算建模的长期障碍。大规模数据集的缺乏禁止了许多现代机器学习技术(如神经机器翻译)应用于 ASL。此外,捕捉手语所需的模态(即视频)在自然场景中十分复杂(须处理背景噪声、运动模糊和维数灾难)。最后,与英语等口语相比,对 ASL 语言学的研究十分有限。我们利用概率图模型(PGM)实现了 Liddell 和 Johnson 的 Movement-Hold(MH)模型的简化版本。我们在 ASLing(一个采集自三名流利 ASL 手语者的数据集)上训练了模型。我们将 PGM 与其他模型评估以判定其建模 ASL 的能力。最后,我们解释 PGM 的各个方面并得出关于 ASL 语音学的结论。本文的主要贡献是
引用
@article{arxiv.2009.01468,
title = {Modeling Global Body Configurations in American Sign Language},
author = {Nicholas Wilkins and Beck Cordes Galbraith and Ifeoma Nwogu},
journal= {arXiv preprint arXiv:2009.01468},
year = {2020}
}