用分布不平等指标度量内容推荐算法的差异性结果
计算机与社会
2022-08-15 v1 机器学习
摘要
算法决策系统的有害影响近来成为焦点，已有诸多如机器学习（ML）模型放大既有社会偏见的例子。大多数试图量化ML算法所导致差异的指标聚焦于群体间差异，依据人口统计身份划分用户并比较这些群体间的模型表现或总体结果。然而，在工业环境中，此类信息往往不可得，且推断这些特征本身带有风险与偏见。此外，关注单一分类器输出的典型指标忽视了在真实环境中产生结果的多系统复杂网络。本文中，我们评估了一组源自经济学的分布不平等指标，及其在度量生产级推荐系统（Twitter算法时间线）中内容曝光差异方面的能力。我们定义了指标在运营环境（尤其供ML从业者使用）中所需满足的合意准则。我们利用这些指标刻画Twitter上不同类型的内容互动，并依据所求准则评估指标。我们表明，可利用这些指标识别出对用户间偏斜结果贡献更强的的内容推荐算法。总体而言，我们得出结论：这些指标可作为理解在线社交网络中差异性结果的有用工具。
引用
@article{arxiv.2202.01615,
title = {Measuring Disparate Outcomes of Content Recommendation Algorithms with Distributional Inequality Metrics},
author = {Tomo Lazovich and Luca Belli and Aaron Gonzales and Amanda Bower and Uthaipon Tantipongpipat and Kristian Lum and Ferenc Huszar and Rumman Chowdhury},
journal= {arXiv preprint arXiv:2202.01615},
year = {2022}
}
备注
11 pages, 7 figures