用于私有联邦学习的草图高斯机制
机器学习
2025-09-11 v1 分布式、并行与集群计算
摘要
通信成本和隐私是联邦学习(FL)中的两个主要考虑因素。对于通信成本，通常通过对客户端传输的模型更新进行草图压缩来降低每轮通信。对于隐私，高斯机制(GM)，其包括裁剪更新并添加高斯噪声，以确保客户端级别差分隐私。现有文献对私有FL中草图和GM的隐私进行了孤立分析，表明草图的隐私由草图维度决定，而GM必须提供任何额外的预期隐私。在本文中，我们引入了草图高斯机制(SGM)，该机制直接将草图和高斯机制组合用于隐私。使用Rényi-DP工具，我们对SGM的整体隐私保证进行联合分析，其显著比草图和GM隐私的孤立分析更灵活且更精确。特别地，我们证明了对于固定噪声幅度，SGM的隐私水平与成正比，其中为草图维度，表明(对于适中的)在相同噪声预算下，SGM可以提供比原始GM更强的隐私保证。我们演示了将SGM应用于FL，无论是梯度下降还是自适应服务器优化器，均可实现优化收敛，显示其对参数数量的收敛仅具有对数依赖。实验结果确认，在相同隐私水平下，基于SGM的FL至少与非草图私有FL变体并不占优势，而在某些设置下优于它们。此外，使用服务器端自适应优化可在保持隐私保证的同时提升实证性能。
引用
@article{arxiv.2509.08195,
title = {Sketched Gaussian Mechanism for Private Federated Learning},
author = {Qiaobo Li and Zhijie Chen and Arindam Banerjee},
journal= {arXiv preprint arXiv:2509.08195},
year = {2025}
}