通过嵌入更深层次词汇关系增强语义词表示
人工智能
2019-01-23 v1
摘要
词表示是利用基于类比上下文的统计与词汇间关系对词进行创建的。词表示是自然语言理解(NLU)任务中学习模型的输入。然而,要理解语言,仅知晓上下文是不够的。读懂言外之意是NLU的关键组成部分。嵌入上下文中未表示的更深层次词汇关系可增强词表示。本文提出一种词嵌入方法,其结合使用Word2Vec的基于类比上下文的统计,以及使用Conceptnet的更深层次词汇关系,以创建扩展的词表示。为微调该词表示,使用自组织映射对其进行优化。所提出的词表示使用Simlex 999与语义词表示进行比较。此外,3D视觉表示的使用已显示出能够表征词之间的相似性与关联。所提出的词表示展示了0.886的斯皮尔曼相关系数,在与当前最先进(state-of-the-art)方法比较时提供了最佳结果,并超过了0.78的人类表现。
引用
@article{arxiv.1901.07176,
title = {Enhancing Semantic Word Representations by Embedding Deeper Word Relationships},
author = {Anupiya Nugaliyadde and Kok Wai Wong and Ferdous Sohel and Hong Xie},
journal= {arXiv preprint arXiv:1901.07176},
year = {2019}
}
备注
Accepted for the International Conference on Computer and Automation Engineering (ICCAE) 2019