利用侧信息的隐私自适应优化
机器学习
2022-06-28 v2 密码学与安全
机器学习
摘要
自适应优化方法已成为许多机器学习任务的默认求解器。遗憾的是，在差分隐私下进行训练时，自适应带来的益处可能会退化，因为为保证隐私而添加的噪声会降低自适应预条件子的有效性。为此，我们提出 AdaDPS，一个利用非敏感侧信息对梯度进行预条件的通用框架，从而在隐私场景下有效使用自适应方法。我们形式化地证明 AdaDPS 减少了达到类似隐私保证所需的噪声量，从而改善优化性能。在实证中，我们利用简单且易得的侧信息探究 AdaDPS 在实践中的表现，并在集中式和联邦式设置下与强基线进行比较。我们的结果表明，AdaDPS 平均将准确率提升 7.7%（绝对值）——在大规模文本和图像基准上取得了最先进的隐私-效用权衡。
引用
@article{arxiv.2202.05963,
title = {Private Adaptive Optimization with Side Information},
author = {Tian Li and Manzil Zaheer and Sashank J. Reddi and Virginia Smith},
journal= {arXiv preprint arXiv:2202.05963},
year = {2022}
}
备注
ICML 2022