真实场景下美国手语手指拼写识别

我们研究真实场景下美国手语手指拼写识别问题，使用从网站收集的视频。我们引入了迄今可用于手指拼写识别问题的最大数据集，也是首个使用自然发生视频数据的数据集。利用该数据集，我们首次尝试在这一极具挑战性的设定下识别手指拼写序列。与先前工作不同，我们的视频数据因低帧率和视觉多变性而极具挑战性。为应对视觉挑战，我们使用数据的一小部分子集训练了一个专用签名手检测器。给定手检测器输出，一个序列模型解码假设的手指拼写字母序列。对于序列模型，我们探索了基于注意力的循环编码器-解码器以及基于 CTC 的方法。作为真实场景下手指拼写识别的首次尝试，本工作旨在作为未来现实条件下手语识别研究的基线。我们发现，正如预期，字母错误率远高于先前在更受控数据上的工作，并分析了误差来源与模型变体的影响。