带线性相关噪声的梯度下降：理论与差分隐私应用
机器学习
2024-01-17 v3
摘要
我们研究带线性相关噪声的梯度下降。我们的工作受近期用于差分隐私（DP）优化的实用方法启发，例如DP-FTRL，这些方法在隐私放大技术不可行的设置（如联邦学习）中取得了强劲性能。这些方法通过矩阵分解机制注入隐私噪声，使噪声在迭代间线性相关。我们提出一个简化设置，提炼出这些方法的关键方面并隔离线性相关噪声的影响。我们分析了该设置下凸和非凸函数中梯度下降的行为。我们的分析明显比先前工作更紧，并精确恢复了多个重要特例（包括反相关扰动梯度下降）。我们利用结果开发了用于差分隐私优化的新型有效矩阵分解，并从理论和实证上凸显这些分解的优势。
引用
@article{arxiv.2302.01463,
title = {Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy},
author = {Anastasia Koloskova and Ryan McKenna and Zachary Charles and Keith Rush and Brendan McMahan},
journal= {arXiv preprint arXiv:2302.01463},
year = {2024}
}