推荐系统公平性中的辛普森悖论：调和每用户与聚合评估间的差异
信息检索
2022-10-17 v1 人工智能
机器学习
摘要
近年来，关于排序与推荐系统中公平性概念的研究大量涌现，特别是如何评估推荐系统是否跨相关条目组（亦称提供者公平性）平等分配曝光。尽管该研究奠定了重要基础，但它根据相关条目是按每用户/每查询比较还是跨用户聚合而产生了不同方法。尽管两者皆已确立且直观，我们发现这两种概念会导致相反结论，此为辛普森悖论的一种形式。我们调和这些概念，表明该张力源于条目相关处用户分布的差异，并分解了用户推荐的重要因素。基于这一新理解，实践者可能对任一概念感兴趣，但可能因相关性与用户满意度的部分可观测性（现实推荐系统中的典型情况）而面临每用户指标的挑战。我们描述了一种基于分布匹配的技术以在此类场景中估计该指标。我们在模拟与真实世界推荐数据上展示了该方法的有效性与有用性。
引用
@article{arxiv.2210.07755,
title = {Simpson's Paradox in Recommender Fairness: Reconciling differences between per-user and aggregated evaluations},
author = {Flavien Prost and Ben Packer and Jilin Chen and Li Wei and Pierre Kremp and Nicholas Blumm and Susan Wang and Tulsee Doshi and Tonia Osadebe and Lukasz Heldt and Ed H. Chi and Alex Beutel},
journal= {arXiv preprint arXiv:2210.07755},
year = {2022}
}