大型学术检索系统中评估集的自动构建与文档相似度模型评估
信息检索
2016-01-08 v1
摘要
学术文献检索系统为科学社区提供了跨学科搜索、探索和下载学术论文的能力。这些系统主要由特定领域的专家使用，其中包含记录用户特定下载文章信息的用户社区日志。本文提出了一种在大规模学术出版物集合中自动评估文档相似度模型的新方法。与使用由查询文档和人工标注相关性判断组成的测试集的典型评估设置不同，我们利用下载日志自动生成伪相关的相似文档对集合。更具体地，我们展示了从学术信息检索（IR）系统中提取的连续下载文档对，可以作为评估文档相似度模型的测试集。我们方法的另一个新颖之处在于，通过比较连续下载文档对与随机文档对在对数空间中的分布来评估模型性能。在分别于词项向量空间和主题空间中表示文档的两类相似度模型上，我们表明我们的评估方法与平均精度均值（MAP）等传统性能指标达到了极高的相关性，同时计算效率更高。
引用
@article{arxiv.1601.01611,
title = {Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems},
author = {Kriste Krstovski and David A. Smith and Michael J. Kurtz},
journal= {arXiv preprint arXiv:1601.01611},
year = {2016}
}