用于差分隐私优化的随机自适应线搜索
机器学习
2020-08-28 v2 机器学习
摘要
基于私有梯度的优化算法的性能高度依赖于步长（或学习率）的选择，而这往往需要进行大量的调参。本文引入了一种满足 Rényi 差分隐私的经典回溯线搜索算法的随机变体。具体而言，所提出的算法利用带噪声的梯度和函数估计，自适应地选择满足 Armijo 条件（以高概率）的步长。此外，为提高所选步长满足条件的概率，该算法根据噪声梯度的可靠性在运行时调整每次迭代的隐私预算。回溯搜索算法的朴素实现可能会消耗大到不可接受的隐私预算，因为自适应步长选择能力是以额外的函数评估为代价的。所提出的算法通过使用稀疏向量技术结合近期的隐私放大引理避免了这一问题。我们还引入了一种隐私预算自适应策略，当算法检测到连续梯度所指方向差异极大时，自适应地增加预算。在凸和非凸问题上的大量实验表明，自适应选择的步长使所提算法能够高效利用隐私预算，并展现出与现有私有优化器相竞争的性能。
引用
@article{arxiv.2008.07978,
title = {Stochastic Adaptive Line Search for Differentially Private Optimization},
author = {Chen Chen and Jaewoo Lee},
journal= {arXiv preprint arXiv:2008.07978},
year = {2020}
}