具有延迟预条件子的差分隐私自适应优化
机器学习
2023-06-09 v2 密码学与安全
摘要
隐私噪声可能会抵消在差分隐私模型训练中使用自适应优化器的益处。先前的工作通常通过利用辅助信息（例如公共数据）来提升自适应优化的有效性。在本工作中，我们探索在无辅助数据的情况下估计并高效适应隐私自适应优化中梯度几何的技术。受自适应方法可容忍陈旧预条件子这一观察的启发，我们提出具有延迟预条件子的差分隐私自适应训练（DP^2），这是一种构造延迟但噪声更小的预条件子以更好实现自适应益处的简单方法。理论上，我们为该方法在凸和非凸问题上提供收敛保证，并分析延迟与隐私噪声削减之间的权衡。在经验上，我们在多个真实世界数据集上探索 DP^2，表明其相对于非自适应基线可将收敛速度提升多达 4 倍，并匹配需要辅助数据的先进优化方法的性能。
引用
@article{arxiv.2212.00309,
title = {Differentially Private Adaptive Optimization with Delayed Preconditioners},
author = {Tian Li and Manzil Zaheer and Ken Ziyu Liu and Sashank J. Reddi and H. Brendan McMahan and Virginia Smith},
journal= {arXiv preprint arXiv:2212.00309},
year = {2023}
}
备注
Accepted by ICLR 2023