私有公平优化的归约方法之代价

通过信息论归约的视角，我们考察一种面向公平优化与学习的归约方法，其中使用黑盒优化器来学习用于分类或回归的公平模型。我们的终极目标是量化使此类模型满足差分隐私严格定义所带来的复杂度，包括统计上与计算上的。我们解决了若干开放问题，并展示了其在公平机器学习、假设检验以及优化非标准分类损失度量上的适用性。此外，我们的样本复杂度界在所有联合最小化函数复合的策略中是最紧的。公平优化的归约方法可抽象为约束群体目标优化问题，其中我们旨在优化一个由各群体损失函数构成的目标，并满足某些约束。我们给出首批多项式时间算法，当定义于凸决策集（例如$\ell_P$单位球）上且具有凸约束与凸损失时，以$(\epsilon, 0)$或$(\epsilon, \delta)$差分隐私保证求解该问题。文中给出了伴随的信息论下界。另外，相较于先前一种在松弛形式的均等几率公平约束下确保差分隐私的方法，我们提出的$(\epsilon, \delta)$-差分隐私算法提供了渐近更优的样本复杂度保证，在特定参数区间带来指数级改进。我们引入了一类有界散度线性优化器，其可能具有独立意义，并特化到纯差分隐私与近似差分隐私。