基于逆类别频率的监督式词加权方案用于文本分类
机器学习
2012-06-07 v4 人工智能
摘要
词加权方案通常主导着许多分类器（如kNN、基于质心的分类器和支持向量机）的性能。文本分类中广泛使用的词加权方案，即tf.idf，起源于信息检索领域。idf在文本分类中的直觉依据似乎不如在信息检索中合理。本文引入逆类别频率（icf）到词加权方案中，并提出了两种新方法，即tf.icf和基于icf的监督式词加权方案。tf.icf采用icf替代idf因子，倾向于出现在更少类别中的词，而非更少文档中的词。而基于icf的方法结合icf和相关性频率（rf），以监督方式对词进行加权。我们的跨分类器和跨语料库实验表明，在宏F1和微F1指标上，我们提出的方法优于或可与六种监督式词加权方案和三种传统方案相媲美。
引用
@article{arxiv.1012.2609,
title = {Inverse-Category-Frequency based supervised term weighting scheme for text categorization},
author = {Deqing Wang and Hui Zhang},
journal= {arXiv preprint arXiv:1012.2609},
year = {2012}
}
备注
18 pages