利用大型语言模型在低资源场景下实现准确手语翻译
计算与语言
2025-09-09 v2 人工智能
计算机与社会
摘要
将自然语言翻译成手语是一个高度复杂且未充分探索的任务。尽管对可访问性和包容性日益关注，但鲁棒翻译系统的开发仍受限于将自然语言与手语数据对齐的平行语料库有限 availability 的制约。现有方法在这些数据稀缺的环境中往往难以泛化，因为可用的少数数据集通常是特定于领域的、缺乏标准化，或未能捕捉手语的完整语言丰富性。为此，我们提出了利用大型语言模型实现手语翻译的高级方法 (AulSign)，该方法通过动态提示和基于样本选择和随后手语关联的情境学习利用大型语言模型。尽管大型语言模型在处理文本方面表现卓越，但缺乏对手语的内在知识；因此，他们无法原生执行此类翻译。为克服这一限制，我们将手语与简洁的自然语言描述关联，并指示模型使用这些描述。我们在英语和意大利语上对该方法进行评估，分别使用 SignBank+ 和意大利 LaCAM CNR-ISTC 数据集。我们在低数据场景下显示出比最新模型在性能上显著优于状态。我们的发现表明 AulSign 的有效性，具有潜力提升 underrepresented 语言社区的交流技术的可及性和包容性。
引用
@article{arxiv.2508.18183,
title = {Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios},
author = {Luana Bulla and Gabriele Tuccio and Misael Mongiovì and Aldo Gangemi},
journal= {arXiv preprint arXiv:2508.18183},
year = {2025}
}