Sadeed：通过小型语言模型推进阿拉伯语变音符号化
计算与语言
2025-08-22 v2 人工智能
摘要
阿拉伯语文本变音符号化由于语言形态丰富性，仍然是自然语言处理中的一个持续挑战。本文介绍Sadeed，一种基于微调的解码器专用语言模型的新方法，该模型改编自Kuwain 1.5B Hennara et al. [2025]，一个最初在多样化阿拉伯语语料库上训练的紧凑模型。Sadeed在精心策划的高质量变音符号化数据集上进行微调，这些数据集通过严格的数据清洗和标准化流程构建。尽管使用适度的计算资源，Sadeed与专有大型语言模型相比取得了有竞争力的结果，并优于在类似领域训练的传统模型。此外，我们指出了当前阿拉伯语变音符号化基准测试实践中的关键局限性。为了解决这些问题，我们引入了SadeedDiac-25，一个新的基准测试，旨在实现跨不同文本体裁和复杂性水平的更公平、更全面的评估。Sadeed和SadeedDiac-25共同为推进阿拉伯语NLP应用（包括机器翻译、文本转语音和语言学习工具）提供了坚实基础。
引用
@article{arxiv.2504.21635,
title = {Sadeed: Advancing Arabic Diacritization Through Small Language Model},
author = {Zeina Aldallal and Sara Chrouf and Khalil Hennara and Mohamed Motaism Hamed and Muhammad Hreden and Safwan AlModhayan},
journal= {arXiv preprint arXiv:2504.21635},
year = {2025}
}