sense2vec——一种用于神经词嵌入中词义消解的快速准确方法
计算与语言
2015-11-23 v1 机器学习
摘要
神经词表示由于其能够高效建模复杂的语义与句法词关系，已在自然语言处理（NLP）任务中被证明是有用的。然而，大多数技术对每个词只建模一个表示，尽管一个词可以有多种含义或“词义”。一些技术使用基于上下文聚类的多个向量来建模词。然而，近期的神经方法很少关注其在下游NLP算法中的应用。此外，近期词义模型的训练过程相对于单义词嵌入过程更为昂贵。本文提出了一种新方法，通过基于监督消解为每个词建模多个嵌入来解决这些问题，这为下游NLP模型提供了一种快速且准确的方式来选择已消解词义的嵌入。我们证明这些嵌入能够消解对比性词义（如名词与动词词义）以及细微词义（如讽刺）。我们进一步在神经依存句法分析上评估了词性消解嵌入，在6种语言的无标记依存评分中实现了超过8%的平均错误降低。
引用
@article{arxiv.1511.06388,
title = {sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings},
author = {Andrew Trask and Phil Michalak and John Liu},
journal= {arXiv preprint arXiv:1511.06388},
year = {2015}
}