搜索公平性评估的概念框架
信息检索
2019-07-23 v1
摘要
尽管搜索效能传统上基于结果相关性进行评估，搜索的公平性近来已引起关注。本工作中，我们定义了分布公平性的概念，并提供了基于该概念评估搜索结果的概念框架。作为其中一部分，我们 formulation 了一组理想评估框架在分布公平性上应满足的公理。我们展示了如何重新利用现有 TREC 测试集来研究公平性，并度量潜在的数据偏差以为公平搜索的测试集设计提供参考。一组分析显示了相关性与公平性之间的度量分歧，我们描述了一种简单而灵活的插值策略，用于将相关性与公平性整合为单一度量以进行优化与评估。
引用
@article{arxiv.1907.09328,
title = {A Conceptual Framework for Evaluating Fairness in Search},
author = {Anubrata Das and Matthew Lease},
journal= {arXiv preprint arXiv:1907.09328},
year = {2019}
}