基于T5的沙特阿拉伯手语翻译
计算机视觉与模式识别
2025-10-14 v1
摘要
本文探讨了使用T5模型进行沙特阿拉伯手语（SSL）翻译的应用，同时引入了新颖的数据集。该SSL数据集包括三个具有挑战性的测试协议，使其能够在不同情景下进行全面评估。此外，它还捕捉了独特的SSL特征，如面部遮挡，这会给手势识别和翻译带来挑战。在我们的实验中，我们研究了在美国手语（ASL）数据上进行预训练对SSL翻译模型影响，通过将基于YouTubeASL数据集预训练的T5模型与直接在SSL数据集上训练的模型进行比较。实验结果表明，针对YouTubeASL进行预训练显著提高了模型性能（BLEU-4大约提升3倍），表明手语模型具有跨语言可迁移性。我们的发现突显了利用大规模ASL数据改善SSL翻译的优势，并为开发更有效的手语翻译系统提供了见解。我们的代码已在GitHub仓库中公开。
引用
@article{arxiv.2510.11183,
title = {Saudi Sign Language Translation Using T5},
author = {Ali Alhejab and Tomas Zelezny and Lamya Alkanhal and Ivan Gruber and Yazeed Alharbi and Jakub Straka and Vaclav Javorek and Marek Hruz and Badriah Alkalifah and Ahmed Ali},
journal= {arXiv preprint arXiv:2510.11183},
year = {2025}
}
备注
11 pages, supplementary, SPECOM 2025