查询集对专家发现系统评估的影响
信息检索
2018-06-29 v1
摘要
专业知识是一个难以形式化的松散定义概念。大量研究聚焦于为不同应用领域的大型数据库设计高效的专家发现算法。此类推荐系统的评估大多依赖于人工标注的与主题相关的专家集合。评估协议包括使用这些主题的名称或简短描述作为原始查询，以对可用候选集进行排序。随后应用信息检索领域的若干度量，针对真实专家集对候选排序进行评分。本文采用该主题-查询评估方法结合AMiner数据，并探索一种新的文档-查询方法，以从直接采样自专家文档的查询集评估专家检索。具体而言，我们描述了从AMiner提取的两个数据集、基于多种文档表示的三种文献基线算法，并给出实验结果以表明，使用更广泛且更真实的查询集会得到与通常主题-查询不同的评估结果。
引用
@article{arxiv.1806.10813,
title = {Impact of the Query Set on the Evaluation of Expert Finding Systems},
author = {Robin Brochier and Adrien Guille and Benjamin Rothan and Julien Velcin},
journal= {arXiv preprint arXiv:1806.10813},
year = {2018}
}