利用缩放Gumbel Softmax归纳与嵌入词义
计算与语言
2019-12-17 v2
摘要
学习词义嵌入的方法用多个特定于词义的向量来表示单个词。这些方法不仅应产生可解释的词义嵌入，还应学习如何在给定语境中选择使用哪个词义。我们提出了一种无监督模型，使用改进的Gumbel softmax函数来学习词义嵌入，该函数允许可微分的离散词义选择。我们的模型所产生的词义嵌入在多个基于相似度的下游评测中具有竞争力（有时达到最优）。然而，正如我们通过与其他多义词嵌入的可解释性比较所发现的，这些下游评测任务上的表现与词义嵌入的可解释性并不相关。虽然许多先前的方法在下游评测上表现良好，但它们产生的嵌入不可解释且学习了重复的词义组；我们的方法实现了两全其美。
引用
@article{arxiv.1804.08077,
title = {Inducing and Embedding Senses with Scaled Gumbel Softmax},
author = {Fenfei Guo and Mohit Iyyer and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:1804.08077},
year = {2019}
}