WOVe:在GloVe词嵌入中引入词序
计算与语言
2021-05-19 v1 机器学习
摘要
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将词定义为向量使机器学习算法易于理解文本并从中提取信息。词向量表示已用于许多应用,如词同义词、词类比、句法解析等。GloVe基于词上下文和矩阵向量化,是一种有效的向量学习算法。它改进了先前的向量学习算法。然而,GloVe模型未能显式考虑词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中引入词序的方法。实验结果表明,我们的词序向量(WOVe)词嵌入方法在类比补全和自然语言处理中的词相似度任务上优于未修改的GloVe。采用直接拼接的WOVe在词相似度任务上略优于GloVe,平均排名提升2%。但它在词类比任务上大幅改进了GloVe基线,准确率平均提升36.34%。
引用
@article{arxiv.2105.08597,
title = {WOVe: Incorporating Word Order in GloVe Word Embeddings},
author = {Mohammed Ibrahim and Susan Gauch and Tyler Gerth and Brandon Cox},
journal= {arXiv preprint arXiv:2105.08597},
year = {2021}
}