停用词去除对阿拉伯语信息检索的影响：一项比较研究
计算与语言
2017-02-08 v1 信息检索
摘要
本研究调查了三个阿拉伯语信息检索停用词表——通用停用词表、基于语料的停用词表、组合停用词表——的有效性。考察了三种流行的加权方案：逆文档频率权重、概率加权和统计语言建模。思路是将统计方法与语言学方法结合以达到最优性能，并比较它们对检索的影响。使用LDC（语言数据联盟）阿拉伯语新闻专线数据集与Lemur工具包。研究中使用的三种加权算法中，Okapi检索系统中采用的最佳匹配加权方案总体性能最好，停用词表改善了检索有效性，尤其当与BM25权重一起使用时。通用停用词表的总体性能优于其他两个列表。
引用
@article{arxiv.1702.01925,
title = {Effects of Stop Words Elimination for Arabic Information Retrieval: A Comparative Study},
author = {Ibrahim Abu El-Khair},
journal= {arXiv preprint arXiv:1702.01925},
year = {2017}
}