公平风险最小化的随机优化框架
机器学习
2023-01-13 v5 信息论
math.IT
摘要
尽管大规模经验风险最小化（ERM）在各种机器学习任务中取得了高精度，但公平 ERM 受到公平性约束与随机优化不兼容的阻碍。我们考虑具有离散敏感属性和潜在大型模型与数据集的公平分类问题，需要随机求解器。现有的处理中公平性算法要么在大规模设置中不实用，因为它们在每次迭代时需要大批量数据，要么不能保证收敛。在本文中，我们开发了第一个具有收敛保证的随机处理中公平性算法。对于人口均等、均等几率和均等机会等公平性概念，我们提供了我们算法（称为 FERMI）的微小变体，并证明这些变体在任意批量大小的随机优化中均收敛。实证上，我们表明 FERMI 适用于具有多个（非二元）敏感属性与非二元目标的随机求解器，即使小批量大小为 1 时也表现良好。大量实验表明，与最先进的人口均等、均等几率、均等机会基线相比，FERMI 在所有测试设置中实现了最有利的公平性违背与测试精度之间的权衡。这些优势在小批量大小和非二元分类且具有大量敏感属性时尤为显著，使 FERMI 成为一种实用的、可扩展的公平性算法。本文所有实验的代码可在 https://github.com/optimization-for-data-driven-science/FERMI 获取。
引用
@article{arxiv.2102.12586,
title = {A Stochastic Optimization Framework for Fair Risk Minimization},
author = {Andrew Lowy and Sina Baharlouei and Rakesh Pavan and Meisam Razaviyayn and Ahmad Beirami},
journal= {arXiv preprint arXiv:2102.12586},
year = {2023}
}
备注
44 pages