通过最大间隔分离超平面发现词嵌入中的语言规则性与非规则性
计算与语言
2020-03-10 v1
摘要
我们实验了学习相关词在词嵌入空间中相对位置的新方法。先前方法学习常量向量偏移：从源词指向目标词的向量，并假设这些偏移彼此平行。我们表明相关词之间的偏移更接近正交而非平行，且它们具有较低的余弦相似度。我们转而采用不同假设：目标词与源词及未标注词线性可分。我们表明最大间隔超平面可分离目标词，且该超平面正交的向量代表了源词与目标词之间的关系。我们发现这种关系表示在发现语言规则性上取得了最佳结果。我们使用多种算法（Word2vec：CBOW/skip-gram、fastText 或 GloVe）训练的词向量空间模型，以及多种词上下文选择（如线性词序、句法依存文法、有无词位置信息）进行实验。这些实验表明我们的模型 SVMCos 在训练词嵌入时对一系列实验选择具有鲁棒性。
引用
@article{arxiv.2003.03654,
title = {Discovering linguistic (ir)regularities in word embeddings through max-margin separating hyperplanes},
author = {Noel Kennedy and Imogen Schofield and Dave C. Brodbelt and David B. Church and Dan G. O'Neill},
journal= {arXiv preprint arXiv:2003.03654},
year = {2020}
}
备注
10 pages