ArzEn-LLM:基于LLM的埃及阿拉伯语-英语代码切换翻译与语音识别
计算与语言
2024-07-16 v2 人工智能
计算机与社会
机器学习
摘要
受近年来埃及阿拉伯语和英语之间代码切换现象广泛增长的推动,本文探讨了机器翻译(MT)和自动语音识别(ASR)系统的细微差别,专注于将代码切换的埃及阿拉伯语-英语翻译成英语或埃及阿拉伯语。我们的目标是呈现开发这些系统所采用的方法,利用诸如LLama和Gemma等大语言模型。在ASR领域,我们探索了Whisper模型用于代码切换埃及阿拉伯语识别,详细描述了我们的实验程序,包括数据预处理和训练技术。通过实施一个连续的语音到文本翻译系统,将ASR与MT集成,以克服有限资源和埃及阿拉伯语方言独特性挑战。针对既定指标的评估显示出有希望的结果,我们的方法在英语翻译上比现有方法提高了56%,在阿拉伯语翻译上提高了9.3%。由于代码切换深深植根于语言之中,ASR系统能够有效处理这一现象这一能力至关重要,有助于在各个领域实现无缝交流,包括商业谈判、文化交流和学术讨论。我们的模型和代码均作为开源资源提供。代码:\url{http://github.com/ahmedheakl/arazn-llm},模型:\url{http://huggingface.co/collections/ahmedheakl/arazn-llm-662ceaf12777656607b9524e}。
引用
@article{arxiv.2406.18120,
title = {ArzEn-LLM: Code-Switched Egyptian Arabic-English Translation and Speech Recognition Using LLMs},
author = {Ahmed Heakl and Youssef Zaghloul and Mennatullah Ali and Rania Hossam and Walid Gomaa},
journal= {arXiv preprint arXiv:2406.18120},
year = {2024}
}
备注
9 pages, 4 figures, 5 tables, 6th International Conference on AI in Computational Linguistics