私有速率约束优化及其在公平学习中的应用
机器学习
2025-05-30 v1 密码学与安全
机器学习
摘要
可信机器学习中的许多问题可以表述为在适当选择的边缘分布下对模型预测速率的约束下最小化模型误差，包括大多数群体公平性约束（人口学 parity、机会均等等）。在这项工作中，我们在差分隐私（DP）下研究此类约束最小化问题。诸如DP-SGD等标准DP优化技术依赖于损失函数可分解为单样本贡献的特性。然而，速率约束引入了样本间依赖性，违反了可分解性要求。为了解决这个问题，我们开发了RaCO-DP，它是随机梯度下降-上升（SGDA）算法的DP变体，用于求解速率约束问题的拉格朗日形式。我们证明，纳入这些约束的额外隐私成本简化为在每个优化步骤中对小批量进行私有直方图估计。我们通过对SGDA利用对偶参数线性结构的新颖分析，证明了算法的收敛性。最后，在群体公平性约束下学习的实证结果表明，我们的方法在公平性-效用权衡中帕累托优于现有的私有学习方法。
引用
@article{arxiv.2505.22703,
title = {Private Rate-Constrained Optimization with Applications to Fair Learning},
author = {Mohammad Yaghini and Tudor Cebere and Michael Menart and Aurélien Bellet and Nicolas Papernot},
journal= {arXiv preprint arXiv:2505.22703},
year = {2025}
}