SignBLEU：多通道手语翻译的自动评估

手语是一种多通道语言，通过手部动作（手动信号）以及面部表情和上身动作（非手动信号）来传递信息。然而，由于自动手语翻译通常通过生成单个gloss序列来实现，研究人员倾向于忽略非手动信号和伴随的手动信号，而选择简化的手动gloss列表。这可能导致显著的信息丢失和歧义。本文提出一种新任务——多通道手语翻译（MCSLT），并设计了名为SignBLEU的新型指标，以捕捉多个信号通道。我们在三个具有不同语言结构和转录方法的手语语料库上进行了系统级任务验证，并通过两个分段级任务检验其与人类判断的相关性。结果表明，SignBLEU在与人类判断相关性方面 consistently优于现有指标。为促进进一步的MCSLT研究，我们报告了三个手语语料库的基准分数，并在https://github.com/eq4all-projects/SignBLEU发布SignBLEU的源码。