局部聚合词嵌入向量 (VLAWE):一种新颖的文档级表示
计算与语言
2019-05-07 v3
摘要
在本文中,我们提出了一种基于将词嵌入向量聚合成文档嵌入的文本文档新颖表示。我们的方法受用于图像表示的局部聚合描述子向量 (Vector of Locally-Aggregated Descriptors) 启发,其工作方式如下。首先,从文档集合中收集的词嵌入通过 k-means 聚类以学习语义相关词嵌入的码本。然后,每个词嵌入关联到其最近的聚类质心(码字)。文档的局部聚合词嵌入向量 (VLAWE) 表示通过累加每个码字向量与归属于相应码字的(来自该文档的)每个词向量之间的差异来计算。我们将以无监督方式学习的 VLAWE 表示接入分类器,并表明其对多种文本分类任务有用。我们将我们的方法与广泛的最先进 (state-of-the-art) 近期方法进行比较,展示了我们方法的有效性。此外,我们在电影评论 (Movie Review) 数据集上获得了可观改进,报告了 93.3% 的准确率,相对于最先进方法实现了 10% 的绝对提升。我们的代码可在 https://github.com/raduionescu/vlawe-boswe/ 获取。
引用
@article{arxiv.1902.08850,
title = {Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation},
author = {Radu Tudor Ionescu and Andrei M. Butnaru},
journal= {arXiv preprint arXiv:1902.08850},
year = {2019}
}
备注
Accepted at NAACL 2019