无参数的局部差分隐私随机次梯度下降
机器学习
2019-11-22 v1 密码学与安全
最优化与控制
机器学习
摘要
我们考虑在保障 -局部差分隐私（-LDP）的前提下，利用随机次梯度最小化凸风险的问题。尽管已有研究表明通过标准 SGD（Song 等，2013）可在 -LDP 下实现随机优化，其收敛速率在很大程度上依赖于学习率，而学习率必须通过重复运行来调整。此外，调参不利于隐私损失，因为它会显著增加梯度请求次数。本工作中，我们提出 BANCO（用于噪声硬币的下注算法，Betting Algorithm for Noisy COins），这是首个本质上匹配调参后 SGD 收敛速率且无需任何学习率参数的 -LDP SGD 算法，从而减少了隐私损失并节省了隐私预算。
引用
@article{arxiv.1911.09564,
title = {Parameter-Free Locally Differentially Private Stochastic Subgradient Descent},
author = {Kwang-Sung Jun and Francesco Orabona},
journal= {arXiv preprint arXiv:1911.09564},
year = {2019}
}
备注
to appear at Privacy in Machine Learning (PriML) workshop, NeurIPS'19