全局思考，局部嵌入——词的局部线性元嵌入
计算与语言
2017-09-21 v1 机器学习
神经与进化计算
摘要
分布式词嵌入在众多自然语言处理（NLP）任务中展现出优越性能。然而，它们的性能在不同任务间差异显著，这意味着这些方法学到的词嵌入捕捉了词汇语义的互补方面。因此，我们认为结合现有词嵌入以产生更准确且完整的词元嵌入十分重要。为此，我们提出一种无监督的局部线性元嵌入学习方法，该方法以预训练词嵌入作为输入，并产生更精确的元嵌入。与先前提出的在词汇表中所有词上学习全局投影的元嵌入学习方法不同，我们提出的方法对各个源词嵌入的局部邻域差异敏感。此外，我们表明先前提出的极具竞争力的词嵌入整合基线方法——向量拼接，可推导为所提方法的特例。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明，我们的元嵌入在多个基准数据集上显著优于先前方法，确立了元嵌入的新最优性能（state of the art）。
引用
@article{arxiv.1709.06671,
title = {Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words},
author = {Danushka Bollegala and Kohei Hayashi and Ken-ichi Kawarabayashi},
journal= {arXiv preprint arXiv:1709.06671},
year = {2017}
}