基于图卷积网络利用接地语言信息补全词汇表外嵌入
计算与语言
2020-06-09 v2
摘要
由于嵌入作为广泛自然语言任务的输入表示而被普遍使用，为罕见词与未登录词补全嵌入是语言处理中的关键问题。嵌入补全涉及在嵌入模型训练期间（通常以事后方式）为罕见词或未登录词学习表示。在本文中，我们提出一种使用以知识图谱形式存在的接地信息的嵌入补全方法。这与通常使用向量空间性质或子词信息的现有方法形成对比。我们提出一种从接地信息构建图的在线方法，并设计一种算法将所得图结构映射到预训练嵌入的空间。最后，我们在跨多个领域的系列罕见词与未登录词任务上评估我们的方法，并展示我们的模型能学习更好的表示。例如，在 Card-660 任务上，使用 GloVe 嵌入时，我们的方法将 Pearson 与 Spearman 相关系数较最先进水平分别提升了 11% 和 17.8%。
引用
@article{arxiv.1906.03753,
title = {Out-of-Vocabulary Embedding Imputation with Grounded Language Information by Graph Convolutional Networks},
author = {Ziyi Yang and Chenguang Zhu and Vin Sachidananda and Eric Darve},
journal= {arXiv preprint arXiv:1906.03753},
year = {2020}
}