利用跨语言手语改进连续手语识别

本工作致力于连续手语识别（CSLR），这是一项弱监督任务，处理从视频中识别连续手语的问题，且对连续手语之间的时间边界无任何先验知识。数据稀缺严重阻碍了 CSLR 的进展。现有方法通常在单语语料库上训练 CSLR 模型，其规模比语音识别语料库小几个数量级。本工作中，我们探索利用多语言手语语料库来促进单语 CSLR 的可行性。我们的工作建立在对跨语言手语的观测之上，这些手语源自不同手语但具有相似的视觉信号（例如，手形与运动）。我们方法的核心理念是识别一种手语中的跨语言手语，并恰当地将其用作辅助训练数据以提升另一种手语的识别能力。为实现该目标，我们首先构建两个手语词典，包含出现在两个数据集中的孤立手语。然后我们通过一个优化良好的孤立手语识别模型识别两种手语之间的手语到手语映射。最后，我们在目标数据（含原始标签）与辅助数据（含映射标签）的组合上训练 CSLR 模型。实验上，我们的方法在两个广泛使用的 CSLR 数据集 Phoenix-2014 和 Phoenix-2014T 上取得了最先进的性能。