用于美国算法偏见测量的隐私保护种族/族裔估计
机器学习
2024-09-18 v2 密码学与安全
摘要
AI公平性测量，包括平等对待测试，通常以对AI系统进行分解评估的形式出现。此类测量是负责任AI操作的重要组成部分。这些测量比较不同人口群体或子群体的系统性能，通常需要成员级别的人口统计信号，如性别、种族、族裔和位置。然而，由于平台选择、法律约束和文化规范，像种族和族裔这样的敏感成员级别人口统计属性可能难以获取和使用。在本文中，我们专注于以保护隐私的方式为美国LinkedIn成员实现基于种族/族裔的AI公平性测量。我们提出了用于执行此任务的隐私保护概率种族/族裔估计（PPRE）方法。PPRE结合了贝叶斯改进姓氏地理编码（BISG）模型、一个稀疏的LinkedIn自我报告人口统计调查样本，以及安全两方计算和差分隐私等隐私增强技术，以在保护成员隐私的同时实现有意义的公平性测量。我们提供了PPRE方法的细节及其隐私保证。然后，我们展示了示例测量操作。最后，我们回顾了扩展我们隐私保护公平性测量能力的开放研究和工程挑战。
引用
@article{arxiv.2409.04652,
title = {Privacy-Preserving Race/Ethnicity Estimation for Algorithmic Bias Measurement in the U.S},
author = {Saikrishna Badrinarayanan and Osonde Osoba and Miao Cheng and Ryan Rogers and Sakshi Jain and Rahul Tandra and Natesh S. Pillai},
journal= {arXiv preprint arXiv:2409.04652},
year = {2024}
}
备注
Saikrishna Badrinarayanan and Osonde Osoba contributed equally to this work. Updating text to indicate limitations of sample analyses