最优差分隐私随机极小极大优化的自带算法框架
机器学习
2022-10-20 v2 密码学与安全
最优化与控制
机器学习
摘要
我们研究光滑随机极小极大优化的差分隐私（DP）算法，随机最小化作为其副产品。这些设置中的终极目标是保证隐私与超额总体损失之间的最优权衡，并使用一种训练样本数量上线性时间复杂度的算法。我们提供了一个求解差分隐私随机极小极大优化（DP-SMO）问题的通用框架，使实践者能够自带基础优化算法并将其作为黑盒使用，从而获得近最优的隐私-损失权衡。我们的框架受近期提出的用于非光滑差分隐私随机凸优化（DP-SCO）的Phased-ERM方法[22]启发，该方法利用经验风险最小化（ERM）的稳定性来保证隐私。我们方法的灵活性使我们规避了基础算法需具有有界敏感度的要求，并允许使用复杂的方差缩减加速方法以实现近线性时间复杂度。据我们所知，当目标为（强）凸-（强）凹时，这些是首批具有近最优总体对偶间隙保证的近线性时间算法用于光滑DP-SMO。此外，基于我们的灵活框架，我们丰富了具有近最优隐私-损失权衡的光滑DP-SCO近线性时间算法族。
引用
@article{arxiv.2206.00363,
title = {Bring Your Own Algorithm for Optimal Differentially Private Stochastic Minimax Optimization},
author = {Liang Zhang and Kiran Koshy Thekumparampil and Sewoong Oh and Niao He},
journal= {arXiv preprint arXiv:2206.00363},
year = {2022}
}
备注
NeurIPS 2022