通过修正微分乘子法在私有联邦学习中强制公平性
机器学习
2022-04-18 v2 机器学习
摘要
带差分隐私的联邦学习，或称私有联邦学习，提供了一种在尊重用户隐私的前提下训练机器学习模型的策略。然而，差分隐私会不成比例地降低模型在代表性不足群体上的性能，因为这类数据分布在噪声存在下难以学习。现有在机器学习模型中强制公平性的方法多考虑集中式设定，即算法可访问用户数据。本文引入一种在私有联邦学习中强制群体公平性的算法，其中用户数据不离开其设备。首先，本文将修正微分乘子法推广至带公平性约束的经验风险最小化，从而提供集中式设定下强制公平性的算法。随后，将该算法扩展至私有联邦学习设定。所提算法 FPFL 在 Adult 数据集的联邦版本及 FEMNIST 数据集的“不公平”版本上进行了测试。在这些数据集上的实验展示了私有联邦学习如何加剧训练模型中的不公平，以及 FPFL 如何能够缓解此类不公平。
引用
@article{arxiv.2109.08604,
title = {Enforcing fairness in private federated learning via the modified method of differential multipliers},
author = {Borja Rodríguez-Gálvez and Filip Granqvist and Rogier van Dalen and Matt Seigel},
journal= {arXiv preprint arXiv:2109.08604},
year = {2022}
}
备注
Presented at PriML workshop at NeurIPS 2021. 20 pages: 11 of main content, 3 of references, and 6 of supplementary material