一种从群体公平与相关性的角度评估排序列表的通用框架
信息检索
2022-04-04 v1
摘要
我们提出一个简单且通用的框架，用于从群体公平与相关性的角度评估排序列表，其中群体（即可能的属性值）本质上可以是名义的或有序的。首先，我们证明若属性集为二值，我们的框架可轻松量化每个排序列表的整体极性。其次，通过利用一个已有的多样化搜索测试集并将每个意图视为一个属性值，我们证明框架可处理软群体归属，且在此设定下我们的群体公平性度量与 adhoc IR 及多样化 IR 度量均高度相关。第三，我们展示框架如何基于多个属性集量化交叉群体公平性。我们还表明，用于比较属性值上已实现分布与目标分布的相似度函数应谨慎选择。
引用
@article{arxiv.2204.00280,
title = {A Versatile Framework for Evaluating Ranked Lists in terms of Group Fairness and Relevance},
author = {Tetsuya Sakai and Jin Young Kim and Inho Kang},
journal= {arXiv preprint arXiv:2204.00280},
year = {2022}
}