TripJudge：面向 TripClick 健康检索的相关性判断测试集
信息检索
2022-08-16 v1
摘要
稳健的测试集对信息检索研究至关重要。近期，针对特定领域检索任务评估检索系统的兴趣日益增长，然而这些任务往往缺乏遵循 Cranfield 范式、带人工标注相关性判断的可靠测试集。在医学领域，近期提出了 TripClick 集合，其包含来自 Trip 搜索引擎的点击日志数据，并包括两个基于点击的测试集。然而这些点击偏向于所使用的检索模型（该模型未知），且先前研究表明这些测试集对于词法及神经检索模型 Top-10 结果的判断覆盖率较低。本文中，我们提出新颖的、用于 TripClick 健康检索的相关性判断测试集 TripJudge。我们在一场标注活动中收集相关性判断，并通过多种池化创建的排序方法、每查询-文档对多重判断以及至少中等的标注者间一致性来确保 TripJudge 的质量与可复用性。我们将基于 TripJudge 与 TripClick 的系统评估进行比较，发现基于点击与基于判断的评估可能导致显著不同的系统排序。
引用
@article{arxiv.2208.06936,
title = {TripJudge: A Relevance Judgement Test Collection for TripClick Health Retrieval},
author = {Sophia Althammer and Sebastian Hofstätter and Suzan Verberne and Allan Hanbury},
journal= {arXiv preprint arXiv:2208.06936},
year = {2022}
}
备注
To be published at CIKM 2022 as resource paper