通过自适应流上最优私有线性算子改进 SGD 的差分隐私
机器学习
2023-01-19 v3 最优化与控制
摘要
受近期需要在自适应流上实现差分隐私的应用推动，我们研究该设置下矩阵机制的最优实例化问题。我们证明了矩阵分解对自适应流适用性的基础理论结果，并给出了一个用于计算最优分解的无参数不动点算法。我们用机器学习中自然出现的具象矩阵实例化该框架，并利用所得最优机制训练用户级差分隐私模型，在联邦学习中一个引人注目的用户级差分隐私问题上取得了显著改进。
引用
@article{arxiv.2202.08312,
title = {Improved Differential Privacy for SGD via Optimal Private Linear Operators on Adaptive Streams},
author = {Sergey Denisov and Brendan McMahan and Keith Rush and Adam Smith and Abhradeep Guha Thakurta},
journal= {arXiv preprint arXiv:2202.08312},
year = {2023}
}
备注
33 pages, 6 figures. Associated code at https://github.com/google-research/federated/tree/master/dp_matrix_factorization