词义的线性代数结构及其在多义词中的应用
计算与语言
2018-12-10 v6 机器学习
机器学习
摘要
词嵌入在自然语言处理和信息检索中无处不在，但当词语为多义词时它们代表什么并不清晰。本文表明多个词义在词嵌入内以线性叠加方式共存，且简单的稀疏编码可恢复近似捕捉这些词义的向量。我们的方法适用于多种嵌入方法，其成功使用随机游走话语模型（Arora et al., 2016）的变体从数学上得到解释。我们技术的一个新颖方面是，每个提取出的词义都伴随约2000个“话语原子”之一，其给出了哪些其他词与该词义共现的简洁描述。话语原子可能具有独立意义，并使该方法潜在更有用。经验测试用于验证和支持该理论。
引用
@article{arxiv.1601.03764,
title = {Linear Algebraic Structure of Word Senses, with Applications to Polysemy},
author = {Sanjeev Arora and Yuanzhi Li and Yingyu Liang and Tengyu Ma and Andrej Risteski},
journal= {arXiv preprint arXiv:1601.03764},
year = {2018}
}
备注
Appear in the Transactions of the Association for Computational Linguistics 2018, link: https://transacl.org/ojs/index.php/tacl/article/view/1346