用于词向量空间解释的神经网络向量概念化
计算与语言
2019-04-03 v1 机器学习
摘要
分布式词向量空间被认为难以解释，这阻碍了对自然语言处理（NLP）模型的理解。本工作中，我们引入一种新方法来解释词向量空间中的任意样本。为此，我们训练一个神经模型对词向量进行概念化，即激活其在给定向量中识别出的高阶概念。与先前方法相反，我们的模型在原始向量空间中运行，并能学习词向量与概念之间的非线性关系。此外，我们表明其产生的概念激活分布比流行的余弦相似度具有显著更低的熵。
引用
@article{arxiv.1904.01500,
title = {Neural Vector Conceptualization for Word Vector Space Interpretation},
author = {Robert Schwarzenberg and Lisa Raithel and David Harbecke},
journal= {arXiv preprint arXiv:1904.01500},
year = {2019}
}
备注
NAACL-HLT 2019 Workshop on Evaluating Vector Space Representations for NLP (RepEval)