面向网页搜索评测的相关性判定：池化文档应随机化还是优先排序？（修订版）
信息检索
2022-11-03 v1
摘要
在构建网页搜索测试集的 depth- 池化背景下，我们比较了两种为相关性判定员排序池化文档的策略：NTCIR 广泛使用的优先排序策略（PRI）与简单随机化策略（RND）。为解答关于 PRI 与 RND 的研究问题，我们构建并发布了 WWW3E8 数据集，其中包含 32,375 个主题-文档对的 8 个独立相关性标注，即总计 259,000 个标注。八个标注中有四个来自基于 PRI 的池，另外四个来自基于 RND 的池。利用 WWW3E8，我们从判定员间一致性、系统排序一致性和对未参与池化的新系统的鲁棒性方面比较 PRI 与 RND。我们还利用作为 WWW3E8 副产品获得的判定员活动日志，从判定效率方面比较这两种策略。
引用
@article{arxiv.2211.00981,
title = {Relevance Assessments for Web Search Evaluation: Should We Randomise or Prioritise the Pooled Documents? (CORRECTED VERSION)},
author = {Tetsuya Sakai and Sijie Tao and Zhaohao Zeng},
journal= {arXiv preprint arXiv:2211.00981},
year = {2022}
}
备注
30 pages. This is a corrected version of an open-access TOIS paper ( https://dl.acm.org/doi/pdf/10.1145/3494833 )