面向多任务文档排序与问答的细粒度相关性标注
信息检索
2020-08-13 v1 计算与语言
摘要
现有许多检索与问答数据集。然而，其中多数要么聚焦于排序列表评估，要么聚焦于单候选问答。这种割裂使得对同时关注给定查询的文档排序与片段或答案提供的方法进行恰当评估颇具挑战。本工作中，我们提出FiRA：一个细粒度相关性标注的新数据集。我们将TREC 2019深度学习 track 的排序检索标注扩展至所有相关文档的段落级与词级分级相关性标注。我们利用新创建的数据研究长文档中相关性的分布，以及标注者对文本特定位置的关注情况。作为示例，我们评估了近期提出的TKL文档排序模型。我们发现尽管TKL在长文档上展现出SOTA检索结果，其遗漏了许多相关段落。
引用
@article{arxiv.2008.05363,
title = {Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering},
author = {Sebastian Hofstätter and Markus Zlabinger and Mete Sertkan and Michael Schröder and Allan Hanbury},
journal= {arXiv preprint arXiv:2008.05363},
year = {2020}
}
备注
Accepted at CIKM 2020 (Resource Track)