野生中阿拉伯字母元音：利用野外机会提升字母元音标化
计算与语言
2024-06-11 v1
摘要
阿拉伯文本中元音标记的广泛缺失，构成阿拉伯自然语言处理(NLP)的重大挑战。本文探讨自然发生的元音标记（称为“野生中元音”），以揭示六种多样体裁（新闻报道、小说、儿童书籍、诗歌、政治文件及 ChatGPT 输出）中的模式与潜在信息。我们提出了新的标注数据集，将真实世界中部分标注单词映射到其完整语境下的最大化字母元音标化。此外，我们提出了对阿拉伯 NLP 中 analyze-and-disambiguate 方法的扩展，以利用这些元音，显著提升性能。我们的贡献包括详尽分析、宝贵的数据集以及扩展后的字母元音标化算法。我们将代码和数据集作为开源资源发布。
引用
@article{arxiv.2406.05760,
title = {Arabic Diacritics in the Wild: Exploiting Opportunities for Improved Diacritization},
author = {Salman Elgamal and Ossama Obeid and Tameem Kabbani and Go Inoue and Nizar Habash},
journal= {arXiv preprint arXiv:2406.05760},
year = {2024}
}
备注
Accepted to ACL 2024