DP-SGD 与 PATE：哪种对模型准确率的差异影响更小？
机器学习
2022-03-29 v2 人工智能
密码学与安全
摘要
差分隐私深度学习的最新进展表明，差分隐私（特别是 DP-SGD 算法）的应用对群体中不同子群具有差异影响，导致代表性不足的子群体（少数群体）相较于代表性良好的子群体，模型效用出现显著更高的下降。在这项工作中，我们旨在从公平性角度比较另一种使用差分隐私训练深度学习模型的机制 PATE 与 DP-SGD。我们表明 PATE 确实也存在差异影响，但其严重程度远小于 DP-SGD。我们从这一观察中得出关于实现更好公平性-隐私权衡的可能方向的见解。
引用
@article{arxiv.2106.12576,
title = {DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy?},
author = {Archit Uniyal and Rakshit Naidu and Sasikanth Kotti and Sahib Singh and Patrik Joslin Kenfack and Fatemehsadat Mireshghallah and Andrew Trask},
journal= {arXiv preprint arXiv:2106.12576},
year = {2022}
}
备注
4 pages, 3 images