利用词项计数值近似文档频率
信息检索
2008-07-25 v1 数字图书馆
摘要
对于有界数据集（如TREC Web Track WT10g），词项频率（TF）和逆文档频率（IDF）的计算并不困难。然而，当语料库是整个网络时，直接计算IDF是不可能的，必须对值进行估计。大多数可用数据集提供词项计数（TC）值，即某个词项在整个语料库中出现的次数。直观上，该值与文档频率（DF）（即某个词项出现的文档（如网页）数量）不同。我们在网络作为语料库（WaC）中对TC和DF值进行了比较研究。我们发现两者之间存在非常强的相关性，斯皮尔曼相关系数rho > 0.8（p < 0.005），这使我们有信心声称，对于这类近期创建的语料库，TC和DF值可以互换使用来计算IDF值。这些结果有助于基于TF-IDF方案生成准确的词汇签名。
引用
@article{arxiv.0807.3755,
title = {Approximating Document Frequency with Term Count Values},
author = {Martin Klein and Michael L. Nelson},
journal= {arXiv preprint arXiv:0807.3755},
year = {2008}
}
备注
11 pages, 6 figures, 4 tables