鼓励信息检索方法中创新与多样性的新评价指标
信息检索
2023-01-31 v3
摘要
在评测活动中，参与者常将探索流行的最先进基线作为低风险策略以获取有竞争力的结果。虽然有效，但这可能导致局部“爬山”，而非对标准方法更激进、更具创新性的偏离。此外，若许多参与者基于相似基线构建，所考虑方法的整体多样性可能受限。本工作中，我们提出一类新的 IR 评测指标，旨在促进评测活动中方法的更大多样性。传统 IR 指标关注用户体验，而我们的两个“创新”指标则奖励探索更具差异性、更高风险的策略，以发现其他系统遗漏的相关文档。在四个 TREC 数据集上的实验表明，我们的指标确实通过改变系统排序来奖励那些发现此类稀有相关文档的系统。该结果进一步得到受控合成数据实验与定性分析的支持。此外，我们表明所提指标比我们所修改的标准指标具有更高的评测稳定性与判别力。为支持可复现性，我们公开了源代码。
引用
@article{arxiv.2301.08062,
title = {New Metrics to Encourage Innovation and Diversity in Information Retrieval Approaches},
author = {Mehmet Deniz Türkmen and Matthew Lease and Mucahid Kutlu},
journal= {arXiv preprint arXiv:2301.08062},
year = {2023}
}
备注
16 pages, 6 figures, to be published in ECIR 2023