基于SAT的波斯语词嵌入类比评估框架
计算与语言
2021-07-01 v1 人工智能
机器学习
摘要
近年来，词嵌入作为一种将词转换为向量的新方法受到了特别关注。理解词的语义有多少被转移到嵌入向量中一直是一个焦点问题。这一点很重要，因为嵌入将被用作下游NLP应用的基础，而端到端地评估应用以识别所用嵌入模型的质量代价高昂。通常词嵌入通过若干测试进行评估，包括类比测试。在本文中，我们提出了一种针对波斯语嵌入模型的测试框架。波斯语是一种低资源语言，目前没有丰富的语义基准来评估该语言的词嵌入模型。在本文中，我们引入了一个评估框架，包括一个手工构建的基于波斯语SAT的类比数据集、一个口语测试集（波斯语特有）以及一个用于研究各种参数对语义评估任务影响的基准。
引用
@article{arxiv.2106.15674,
title = {SAT Based Analogy Evaluation Framework for Persian Word Embeddings},
author = {Seyyed Ehsan Mahmoudi and Mehrnoush Shamsfard},
journal= {arXiv preprint arXiv:2106.15674},
year = {2021}
}