你的学习有多深：DL-HARD 标注深度学习数据集
信息检索
2021-05-18 v1
摘要
Deep Learning Hard (DL-HARD) 是一个新的标注数据集，旨在更有效地在复杂主题上评估神经排序模型。它基于 TREC Deep Learning (DL) 主题，通过问题意图类别、答案类型、维基化实体、主题类别以及来自商业网络搜索引擎的结果类型元数据对其进行广泛标注。基于该数据，我们引入了一个用于识别具有挑战性查询的框架。DL-HARD 包含来自官方 DL 2019/2020 评估基准的五十个主题，其中一半是新近且独立评测的。我们使用提交至 DL 的官方运行结果在 DL-HARD 上进行实验，发现指标和参与系统的排名存在显著差异。总体而言，DL-HARD 是一个通过聚焦具有挑战性和复杂主题来促进神经排序方法研究的新资源。
引用
@article{arxiv.2105.07975,
title = {How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset},
author = {Iain Mackie and Jeffery Dalton and Andrew Yates},
journal= {arXiv preprint arXiv:2105.07975},
year = {2021}
}