通过扩展鲁棒主成分分析理解并改进多义词词嵌入
计算与语言
2018-03-06 v1
摘要
无监督学习得到的多义词表示会因无监督方法对上下文变化过度敏感而生成大量伪多义项。在本文中，我们通过义项对的降维来解决词嵌入的伪多义检测问题。我们提出了一种新颖的主成分分析方法，称为 Ex-RPCA，旨在检测伪多义项和真实多义项。借助 Ex-RPCA，我们经验性地表明伪多义项在无监督方法中是系统性生成的。此外，基于 Ex-RPCA 的简单线性变换可以改进多义词词嵌入。我们改进后的词嵌入在 Stanford 上下文词相似度（SCWS）数据集上比原始词嵌入高出 5.6 分。我们希望这一简单而有效的方法将有助于未来对多义词词嵌入的语言学分析。
引用
@article{arxiv.1803.01255,
title = {Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis},
author = {Haoyue Shi and Yuqi Sun and Junfeng Hu},
journal= {arXiv preprint arXiv:1803.01255},
year = {2018}
}