通过知识图谱的非对称低秩投影学习更优词嵌入
计算与语言
2015-06-16 v2
摘要
词嵌入指自然语言的低维稠密向量表示，已在许多自然语言处理任务中展现出其威力。然而，它以自由文本语料作为训练数据，可能受其中不准确和不完整信息的困扰。为应对此挑战，已有不少工作利用知识图谱作为额外信息源以提升词嵌入质量。尽管这些工作取得了一定成功，它们忽视了关于知识图谱的一些重要事实：(i) 知识图谱中的许多关系为多对一、一对多甚至多对多，而非简单的一对一；(ii) 知识图谱中大多数头实体和尾实体来自非常不同的语义空间。为解决这些问题，本文提出一种名为 ProjectNet 的新算法。ProjectNet 在以不同的低秩投影矩阵变换头尾实体后，对它们之间的关系建模。低秩投影可允许实体间非一对一的关系，而为头尾实体采用不同投影矩阵则允许它们源自不同的语义空间。实验结果表明，ProjectNet 比以往工作产生更准确的词嵌入，从而在各类自然语言处理任务中带来明显提升。
引用
@article{arxiv.1505.04891,
title = {Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph},
author = {Fei Tian and Bin Gao and Enhong Chen and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1505.04891},
year = {2015}
}