利用音系学改进手语识别
计算与语言
2023-02-14 v1 计算机视觉与模式识别
摘要
我们利用对美国手语(ASL)音系学研究的见解来训练孤立手语识别(ISLR)模型,这是迈向自动手语理解的一步。我们的核心见解是明确识别音系学在手语生成中的作用,从而实现比现有不考虑手语音系学的工作更准确的 ISLR。我们训练的 ISLR 模型接收手语者生成单个手语的姿态估计,不仅预测该手语,还预测其音系特征,例如手形。这些辅助预测在 WLASL 基准上带来了近 9% 的绝对手语识别准确率提升,并且无论底层预测模型架构如何,ISLR 均有持续改进。本工作有潜力加速手语领域的语言学研究,并减少聋人与听人之间的沟通障碍。
引用
@article{arxiv.2302.05759,
title = {Improving Sign Recognition with Phonology},
author = {Lee Kezar and Jesse Thomason and Zed Sevcikova Sehyr},
journal= {arXiv preprint arXiv:2302.05759},
year = {2023}
}