带或不带停用词的术语加权方法对阿拉伯语文本分类的影响
计算与语言
2024-02-26 v1 人工智能
机器学习
摘要
文本分类是将文档归入预先设定的类别的方法。在进行分类之前，必须以适合用于数据挖掘算法的合适方式来准备和表示文本文档。因此，文献中已 developed 多种术语加权策略以提高文本分类算法的功能。本研究比较了在停用词删除一次和不删除一次的情况下，二进制术语和术语频率加权特征方法对文本分类方法的影响。为评估特征加权方法在分类结果中以准确率、召回率、精确率和F值等指标上的效果，我们使用由322个阿拉伯文档组成的数据集，分为六个主要主题(农业、经济、健康、政治、科学和体育)，其中每个主题包含50个文档，唯一例外是健康类别包含61个文档。结果显示，在所有指标上，带停用词删除的术语频率特征加权方法均优于二进制方法；而在准确率、召回率和F值方面，带停用词删除的二进制方法优于不带停用词删除的术语频率方法。然而，在精确率方面，两种方法的结果非常相似。此外，数据表明，采用相同的术语加权方法时，删除停用词可提高分类准确率。
引用
@article{arxiv.2402.14867,
title = {Effects of term weighting approach with and without stop words removing on Arabic text classification},
author = {Esra'a Alhenawi and Ruba Abu Khurma and Pedro A. Castillo and Maribel G. Arenas},
journal= {arXiv preprint arXiv:2402.14867},
year = {2024}
}