面具语言模型的精准语言学分析：基于最小翻译对的研究
计算与语言
2026-05-01 v1
摘要
面具语言的模型历史上滞后于口语语言（文本和语音）。近期的工作大幅提升了其在面具语言翻译和孤立手势识别等任务上的性能。然而，现有模型在多大程度上捕捉到面具语言的各种语言现象，以及如何有效利用来自面具语言多位说话者线索（手部、上身、面部）仍然不明确。我们引入了一个新的美国面具语言（ASL）最小翻译对（ASL-MTP）基准数据集，数据集被划分为多种面具语言现象及其对应的最小翻译对，以进行此类语言学分析。作为案例研究，我们使用ASL-MTP对一种最先进的ASL到英语翻译模型进行分析。我们通过在训练和推理期间对各种输入线索进行消除，并在ASL-MTP中的现象上进行评估来对该模型进行针对性分析。我们的结果表明，尽管该模型在大多数现象上都超过了随机水平，但它对手动线索依赖很强，而常常忽略关键的非手动线索。
引用
@article{arxiv.2604.27232,
title = {Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs},
author = {Serpil Karabüklü and Kanishka Misra and Shester Gueuwou and Diane Brentari and Greg Shakhnarovich and Karen Livescu},
journal= {arXiv preprint arXiv:2604.27232},
year = {2026}
}