私有且公平的机器学习：重新审视差分隐私 SGD 的不平等影响
机器学习
2025-10-10 v1
摘要
差分隐私 (DP) 是保护数据分析期间有关个体信息的流行方法。使用差分隐私随机梯度下降 (DPSGD) 训练神经网络会影响模型的学习动力学，从而影响其输出。这可能影响模型的性能和公平性。虽然大多数关于该主题的研究报告了对公平性的负面影响，但最近有人建议，通过针对差分隐私模型直接优化超参数（而不是重用来自非差分隐私模型的超参数）可以实现与非私有模型相当的公平性水平。在本工作中，我们通过 1) 比较 DPSGD 对不同性能指标的不平等影响，以及 2) 在广泛的超参数设置范围内进行分析来评估这一主张的可推广性。我们指出，对一个指标的不平等影响并不一定意味着对另一个指标的不平等影响。最重要的是，我们展示了尽管直接针对差分隐私模型优化超参数并不能可靠地减轻 DPSGD 的不平等影响，但仍可实现比重用非差分隐私模型的超参数更好的 utility-fairness trade-off。我们强调，任何形式的超参数调谋都涉及额外的隐私泄漏，这需要仔细考虑如何在隐私、实用性和公平性之间进行权衡。最后，我们将我们的分析扩展到旨在减轻 accuracy 上不平等影响的 DPSGD-Global-Adapt 变体，并得出结论，这种替代方法对于超参数选择而言并不稳健。
引用
@article{arxiv.2510.01744,
title = {Private and Fair Machine Learning: Revisiting the Disparate Impact of Differentially Private SGD},
author = {Lea Demelius and Dominik Kowald and Simone Kopeinik and Roman Kern and Andreas Trügler},
journal= {arXiv preprint arXiv:2510.01744},
year = {2025}
}