利用多义向量嵌入实现逆向词典
计算与语言
2019-04-03 v1 机器学习
摘要
流行的词嵌入方法如 word2vec 和 GloVe 为每个词分配单一向量表示，即使一个词具有多个不同含义。多义嵌入则为词的每个义项提供不同向量。然而，它们通常不能作为常规单义嵌入的即插即用替代品，因为需要为每个词选择正确的义项向量。在这项工作中，我们研究了多义嵌入在逆向词典任务上的效果。我们提出了一种利用注意力机制将其轻松集成到现有神经网络架构中的技术。我们的实验表明，当在输入序列和目标表示中均使用多义嵌入时，可获得大幅改进。我们还提供了对义项分布和所学注意力的分析。
引用
@article{arxiv.1904.01451,
title = {Using Multi-Sense Vector Embeddings for Reverse Dictionaries},
author = {Michael A. Hedderich and Andrew Yates and Dietrich Klakow and Gerard de Melo},
journal= {arXiv preprint arXiv:1904.01451},
year = {2019}
}
备注
Accepted as long paper at the 13th International Conference on Computational Semantics (IWCS 2019)