采样的力量：私有ERM中的维数无关风险界
机器学习
2024-06-05 v4 密码学与安全
最优化与控制
摘要
差分私有经验风险最小化（DP-ERM）是私有优化中的基本问题。尽管DP-ERM理论已被充分研究，但随着大规模模型变得普遍，传统DP-ERM方法面临新挑战，包括（1）对环境维数的禁止性依赖，（2）高度非光滑的目标函数，（3）昂贵的一阶梯度预言。这些挑战要求重新思考现有DP-ERM方法。在本文中，我们表明正则化指数机制与现有采样器相结合可一并应对这些挑战：在标准无约束域和低秩梯度假设下，我们的算法仅使用零阶预言即可为非光滑凸目标实现依赖于秩的风险界，这是先前方法未能完成的。这凸显了采样在差分隐私中的力量。我们进一步构造了下界，表明当梯度为满秩时，无约束与有约束设定间无分离。我们的下界源于从无约束域到有约束域的一般黑盒归约，以及有约束设定下改进的下界，这本身可能具有独立意义。
引用
@article{arxiv.2105.13637,
title = {The Power of Sampling: Dimension-free Risk Bounds in Private ERM},
author = {Yin Tat Lee and Daogao Liu and Zhou Lu},
journal= {arXiv preprint arXiv:2105.13637},
year = {2024}
}
备注
We add the dimension-independent upper bounds results