TREC 2021 深度学习轨道概述
信息检索
2025-07-14 v1 人工智能
计算与语言
摘要
这是 TREC 深度学习轨道的第三年。像以前一样，我们利用 MS MARCO 数据集，使大量的人工标注训练标签可用于 passage 和 document 排序任务。此外，今年我们刷新了 document 和 passage 集合，这也导致 document 集合大小几乎增长了四倍，passage 集合大小几乎增长了 16 倍。采用大规模预训练的深度神经排序模型继续超过传统检索方法。我们还发现，单阶段检索可以在两个任务上实现良好性能，尽管它们仍不达到多阶段检索管道的水平。最后，集合大小的增加和一般数据刷新引发了关于 NIST 判决完整性以及与旧集合映射到新集合的训练标签质量的问题，我们在本报告中讨论了这些问题。
引用
@article{arxiv.2507.08191,
title = {Overview of the TREC 2021 deep learning track},
author = {Nick Craswell and Bhaskar Mitra and Emine Yilmaz and Daniel Campos and Jimmy Lin},
journal= {arXiv preprint arXiv:2507.08191},
year = {2025}
}