超几何检验在标准文本分析任务上表现与 TF-IDF 相当
信息检索
2023-06-06 v4
摘要
词频-逆文档频率（简称 TF-IDF）及其众多变体构成了一类术语加权函数，其成员广泛应用于文本分析应用。尽管 TF-IDF 最初是作为启发式方法提出的，但已有基于信息论、概率以及从随机性范式偏离的理论依据被提出。在本工作中，我们给出一项实证研究，表明在选定的真实数据文档检索、摘要和分类任务上，TF-IDF 与统计显著性的超几何检验极为接近。这些发现表明，TF-IDF 与超几何检验 P 值（即超几何分布尾概率）的负对数之间仍存在待阐明的根本数学联系。我们推进此处的实证分析，作为从统计显著性检验视角解释 TF-IDF 长期有效性的第一步。我们期望这些结果将为系统评估文本分析应用中源自显著性检验的术语加权函数打开大门。
引用
@article{arxiv.2002.11844,
title = {The hypergeometric test performs comparably to TF-IDF on standard text analysis tasks},
author = {Paul Sheridan and Mikael Onsjö},
journal= {arXiv preprint arXiv:2002.11844},
year = {2023}
}
备注
22 pages, 1 figure, 3 tables, major revisions