美国手语中的手指拼写检测

手指拼写（逐字母用手势拼出单词）是美国手语的重要组成部分。以往关于自动手指拼写识别的工作大多假设手语视频中手指拼写区域的边界是预先已知的。在本文中，我们考虑在原始、未裁剪的手语视频中进行手指拼写检测的任务。这是构建真实世界手指拼写识别系统的重要一步。我们提出了一个基准和一套评估指标，其中一些反映了检测对下游手指拼写识别任务的影响。此外，我们提出了一个通过多任务训练学习检测手指拼写的新模型，将姿态估计和手指拼写识别（转写）与检测相结合，并将该模型与几种替代方案进行比较。该模型在所有指标上均优于所有替代方法，在基准上确立了 state of the art。