超越单一参考：基于变体的手语翻译训练与评估
人工智能
2026-01-30 v1
摘要
大多数手语翻译 (SLT) 语料库将每个签名言语配对单个书面语言参考，尽管手语与 spoken language 之间的关系高度非同构，存在等效有效的多种翻译。此限制限制了模型训练和评估，尤其是针对 n-gram 基于指标如 BLEU。本文我们研究使用大型语言模型自动生成书面语言翻译的变体作为 SLT 的合成替代参考。首先，我们比较多种变体化策略和模型，使用适应的 ParaScore 指标。其次，我们研究变体对基于姿态的 T5 模型在 YouTubeASL 和 How2Sign 数据集上的训练和评估的影响。我们的结果表明，生动地地将变体纳入训练并不提高翻译性能，甚至可能适得其害。相比之下，在评估时使用变体可得更高的自动得分和更好的人类判断一致性。为正式化此观察，我们引入 BLEUpara，即针对多个变体参考的 BLEU 扩展。人类评估确认 BLEUpara 与感知翻译质量更强相关。我们发布所有生成的变体、生成和评估代码，以支持 SLT 系统的可重复和更可靠评估。
关键词
引用
@article{arxiv.2601.21128,
title = {Beyond a Single Reference: Training and Evaluation with Paraphrases in Sign Language Translation},
author = {Václav Javorek and Tomáš Železný and Alessa Carbo and Marek Hrúz and Ivan Gruber},
journal= {arXiv preprint arXiv:2601.21128},
year = {2026}
}
备注
Under review