通过迭代实现隐私放大：面向洗牌与在线 PNSGD
密码学与安全
2021-06-23 v1 机器学习
统计理论
机器学习
统计理论
摘要
在本文中，我们考虑通过迭代实现隐私放大的框架，该框架最初由 Feldman 等人提出，随后由 Asoodeh 等人借助收缩系数在其分析中予以简化。此类工作聚焦于研究投影带噪随机梯度下降（PNSGD）算法在隐藏中间更新情况下的隐私保证。现有文献的一个局限是仅研究了早停的 PNSGD，而对于在洗牌数据集上应用的更常用的 PNSGD 尚无结论证明。此外，关于在线接收新数据时如何降低注入噪声，尚未提出任何方案。在本工作中，我们首先证明洗牌 PNSGD 的隐私保证，在每个样本量 下噪声固定但随 增大以预定速率减小（以实现隐私损失的收敛）的渐近情形下进行了探讨。随后我们分析在线设定，并给出一种更快衰减的注入噪声幅度方案，同样保证隐私损失的收敛。
引用
@article{arxiv.2106.11767,
title = {Privacy Amplification via Iteration for Shuffled and Online PNSGD},
author = {Matteo Sordello and Zhiqi Bu and Jinshuo Dong},
journal= {arXiv preprint arXiv:2106.11767},
year = {2021}
}