MSMARCO 段落集合的敏感性分析
信息检索
2022-01-12 v2
摘要
近期的 MSMARCO 段落检索集合使研究者得以开发高度调优的检索系统。与传统语料相比，该数据集的一个显著特征是大多数主题仅标记了单个相关答案段落。在此我们开展一项“假设”敏感性研究，探问若每个主题有更多段落被视为“相关”，一组系统的相对性能是否仍保持一致，并探索了若干用于识别此类段落集合的机制。我们的结果表明，总体而言，尽管若假定额外合理段落相关会导致运行分数显著变化，但所得系统排序对额外相关性相对不敏感，这为 MSMARCO 段落集合创建时所采用的方法论提供了支持。
引用
@article{arxiv.2112.03396,
title = {A Sensitivity Analysis of the MSMARCO Passage Collection},
author = {Joel Mackenzie and Matthias Petri and Alistair Moffat},
journal= {arXiv preprint arXiv:2112.03396},
year = {2022}
}