利用基于术语的表示测量排序列表中的偏差
计算与语言
2024-03-12 v1
摘要
在最近的大多数研究中，文档排序中的性别偏差是使用 NFaiRR 指标进行评估的，该指标基于对每个排序文档的无偏性得分的聚合来测量排序列表中的偏差。这种测量排序列表偏差的视角存在一个关键局限：排序列表中的单个文档可能存在偏差，而整个排序列表却在群体代表性上达到了平衡。为解决这一问题，我们提出了一种名为 TExFAIR（基于术语暴露度的公平性）的新指标，该指标基于对通用公平性评估框架 attention-weighted ranking fairness (AWRF) 的两项新扩展。TExFAIR 基于排序列表中群体的基于术语的表示来评估公平性：(i) 基于概率术语级关联将文档与群体关联的明确定义，以及 (ii) 用于在测量排序列表公平性时计入非代表性文档的排序偏差折扣因子（RBDF）。我们在段落排序任务中评估了 TExFAIR 测量性别偏差的性能，并研究了 TExFAIR 与 NFaiRR 之间的关系。实验表明，TExFAIR 与 NFaiRR 之间不存在强相关性，这表明 TExFAIR 测量的是与 NFaiRR 不同维度的公平性。通过 TExFAIR，我们扩展了 AWRF 框架，使其能够评估在排序列表中文档具有基于术语的群体表示设置下的公平性。
引用
@article{arxiv.2403.05975,
title = {Measuring Bias in a Ranked List using Term-based Representations},
author = {Amin Abolghasemi and Leif Azzopardi and Arian Askari and Maarten de Rijke and Suzan Verberne},
journal= {arXiv preprint arXiv:2403.05975},
year = {2024}
}
备注
Accepted at the 46th European Conference on Information Retrieval (ECIR 2024)