TREC 2019 公平排序赛道概述
信息检索
2020-03-27 v1 数字图书馆
机器学习
摘要
TREC 公平排序赛道的目标是建立一个基准，用于评估检索系统相对于不同内容提供者的公平性，以及经典的相关性概念。作为基准的一部分，我们定义了标准化的公平性指标与评估协议，并发布了一个用于公平排序问题的数据集。2019 年的任务聚焦于给定查询对学术论文摘要进行重排序。目标是在系统提交时未知的几个群体中公平地表示相关作者。因此，该赛道强调开发在多种群体定义下具有鲁棒性能的系统。参与者获得了来自 Semantic Scholar 的查询日志数据（查询、文档和相关性）。本文介绍了该赛道的概述，包括任务定义、数据与标注过程的描述，以及提交系统性能的比较。
引用
@article{arxiv.2003.11650,
title = {Overview of the TREC 2019 Fair Ranking Track},
author = {Asia J. Biega and Fernando Diaz and Michael D. Ekstrand and Sebastian Kohlmeier},
journal= {arXiv preprint arXiv:2003.11650},
year = {2020}
}
备注
Published in The Twenty-Eighth Text REtrieval Conference Proceedings (TREC 2019)