在显式语义分析中引入维基百科文章间的相互关联
计算与语言
2020-12-02 v1 人工智能
信息检索
摘要
显式语义分析(ESA)是一种将一段文本表示为概念空间(如维基百科中的文章)中向量的技术。我们提出一种方法,利用称为Retrofitting的技术,将维基百科文章间相互关联的知识纳入ESA获得的向量,以改进后续使用ESA形成向量嵌入的任务性能。特别地,我们用无向图表示此知识,节点为文章,边为两文章间的相互关系。此处,我们还强调ESA步骤可视为主要自底向上的方法,使用语料库得出向量表示,而纳入自顶向下的知识即文章间关系以进一步改进它。我们在维基百科语料的若干较小子集上检验我们的假设,并展示在大多数情况下我们提出的方法在包括Spearman秩相关系数在内的性能指标上带来可观提升。
引用
@article{arxiv.2012.00398,
title = {Introducing Inter-Relatedness between Wikipedia Articles in Explicit Semantic Analysis},
author = {Naveen Elango and Pawan Prasad K},
journal= {arXiv preprint arXiv:2012.00398},
year = {2020}
}
备注
16 pages