DiaLex：一种评估多方言阿拉伯语词嵌入的基准
人工智能
2021-03-16 v2
摘要
词嵌入是现代自然语言处理系统的核心组件，因此对其开展透彻评估是一项关键任务。我们描述了 DiaLex，一个用于方言阿拉伯语词嵌入内在评估的基准。DiaLex 涵盖五种重要的阿拉伯语方言：阿尔及利亚语、埃及语、黎巴嫩语、叙利亚语和突尼斯语。在这些方言中，DiaLex 为六种句法与语义关系提供了测试库，即男性对女性、单数对双数、单数对复数、反义、比较级，以及属格对过去时。因此，DiaLex 由代表五种方言中每种六种关系的词对集合构成。为展示 DiaLex 的效用，我们用它评估了一组已有的及我们开发的新的阿拉伯语词嵌入。我们的基准、评估代码和新的词嵌入模型将公开可用。
引用
@article{arxiv.2011.10970,
title = {DiaLex: A Benchmark for Evaluating Multidialectal Arabic Word Embeddings},
author = {Muhammad Abdul-Mageed and Shady Elbassuoni and Jad Doughman and AbdelRahim Elmadany and El Moatez Billah Nagoudi and Yorgo Zoughby and Ahmad Shaher and Iskander Gaba and Ahmed Helal and Mohammed El-Razzaz},
journal= {arXiv preprint arXiv:2011.10970},
year = {2021}
}
备注
WANLP2021