PCDP-SGD：通过预先投影改善差分隐私 SGD 的收敛性
密码学与安全
2025-04-15 v2 机器学习
摘要
差分隐私 SGD (DP-SGD) 范式可以在集中式和联邦式设置中为训练数据提供理论保证。然而，DP-SGD 引起的效用下降限制了其在高风险任务（如医学图像诊断）中的广泛应用。除了必要的扰动外，收敛问题还归因于梯度裁剪上的信息丢失。在这项工作中，我们提出了一个通用框架 PCDP-SGD，旨在通过在梯度裁剪前进行投影操作来压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 作为差分隐私联邦学习(DPFL)中的基础组件进行扩展，以缓解数据异构挑战并实现高效通信。我们证明，预投影通过将裁剪误差和偏差的依赖性降低到顶部梯度特征空间的一小部分来增强 DP-SGD 的收敛性，并在理论上限制跨客户端方差以改善异构联邦下的收敛性。实验结果表明，与最先进的 DP-SGD 变体相比，PCDP-SGD 在计算机视觉任务中实现了更高的准确率。此外，当在本地训练集上保证 DP 时，PCDP-SGD 优于当前的联邦学习框架。
引用
@article{arxiv.2312.03792,
title = {PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance},
author = {Haichao Sha and Ruixuan Liu and Yixuan Liu and Hong Chen},
journal= {arXiv preprint arXiv:2312.03792},
year = {2025}
}
备注
We have made major revisions to the content and it is not suitable for updating