文本特征表示对文档分类性能的影响
计算与语言
2017-07-06 v1
摘要
本文在文档分类背景下，对三种文本文档特征表示模型进行了比较分析。具体而言，我们考虑了最常用的词袋模型族、最近提出的连续空间模型 word2vec 和 doc2vec，以及基于将文本文档表示为语言网络的模型。尽管词袋模型已广泛用于文档分类任务，但另外两种模型在同一任务上的性能尚未被很好理解。对于基于网络的模型尤其如此，该模型很少被考虑用于分类的文本文档表示。在本研究中，我们度量了使用随机森林方法训练的文档分类器对于这三种模型及其变体所生成特征的性能。实证比较的结果表明，常用的词袋模型的性能与新兴的 doc2vec 连续空间模型所获得的性能相当。特别是，生成最多 75 个特征的 doc2vec 低维变体属于性能最佳的文档表示模型。结果最终指出，doc2vec 在大型文档分类任务中表现出更优的性能。
引用
@article{arxiv.1707.01321,
title = {The Influence of Feature Representation of Text on the Performance of Document Classification},
author = {Sanda Martinčić-Ipšić and Tanja Miličić and Ljupčo Todorovski},
journal= {arXiv preprint arXiv:1707.01321},
year = {2017}
}