CODEC：复杂文档与实体集合
信息检索
2022-05-18 v2
摘要
CODEC 是一个聚焦于复杂研究主题的文档与实体排序基准。我们面向社会科学研究人员论文式的情报需求，例如“英国的开放银行监管如何惠及挑战者银行？”。CODEC 包含由研究人员开发的 42 个主题，以及一个带有实体链接等语义标注的新的聚焦网络语料库。该资源包含对来自多种自动与交互式人工运行的 17,509 个文档与实体（每主题 416.9 个）的专家判断。人工运行包含 387 次查询重构，为查询性能预测与自动重写评估提供数据。CODEC 包含对最先进系统的分析，包括稠密检索与神经重排序。结果表明这些主题具有挑战性，在文档与实体排序方面仍有提升空间。利用实体信息进行查询扩展在文档排序中显示出显著增益，证明了该资源对评估与改进面向实体的搜索的价值。我们还表明，人工查询重构显著提升了文档排序与实体排序性能。总体而言，CODEC 提供了具有挑战性的研究主题，以支持以实体为中心搜索方法的开发与评估。
引用
@article{arxiv.2205.04546,
title = {CODEC: Complex Document and Entity Collection},
author = {Iain Mackie and Paul Owoicho and Carlos Gemmell and Sophie Fischer and Sean MacAvaney and Jeffrey Dalton},
journal= {arXiv preprint arXiv:2205.04546},
year = {2022}
}
备注
10 pages, SIGIR 2022 Preprint