TREC 2020 公平排序赛道概述
信息检索
2021-08-21 v1 计算机与社会
机器学习
摘要
本文提供 NIST TREC 2020 公平排序赛道的概述。2020 年，我们再度采用学术搜索任务，其中我们有一个学术文章摘要语料库以及提交给某生产型学术搜索引擎的查询。公平排序赛道的核心目标是为不同组的作者提供公平的曝光（一种群体公平框架）。我们认识到可能存在多种群体定义（例如基于人口统计、学术地位、主题），并希望系统对这些定义具有鲁棒性。我们期望参与者开发针对任意群体定义优化公平性与相关性的系统，并且在评估运行提交之前未揭示确切的群体定义。该赛道包含两个任务，重排序与检索，并采用共享评估。
引用
@article{arxiv.2108.05135,
title = {Overview of the TREC 2020 Fair Ranking Track},
author = {Asia J. Biega and Fernando Diaz and Michael D. Ekstrand and Sergey Feldman and Sebastian Kohlmeier},
journal= {arXiv preprint arXiv:2108.05135},
year = {2021}
}
备注
Published in The Twenty-Ninth Text REtrieval Conference Proceedings (TREC 2020). arXiv admin note: substantial text overlap with arXiv:2003.11650