基于双梯度机制使用随机双向参数更新的安全泛化
机器学习
2025-04-04 v1
摘要
联邦学习(FL)因其在去中心化客户端上进行保护隐私的协作训练而受到越来越多的关注,从而缓解了将敏感数据直接上传到中央服务器的需求。尽管如此,最近的研究强调了即使在 FL 框架内,将私有数据暴露给对手的风险。通常,现有方法在确保抵抗 FL 中隐私泄漏的同时会牺牲性能。我们克服了这些问题,并通过提出的随机双向参数更新机制在全局服务器上生成多样化的模型。利用多样化的模型,我们改善了 FL 设置中的泛化和特征表示,这也有助于在不损害模型效用的情况下提高模型对隐私泄漏的鲁棒性。我们使用过去 FL 轮次的全局模型在服务器上遵循参数空间中的系统性扰动,以确保模型的泛化性和对隐私攻击的抵抗力。我们在细粒度级别(即改变模型各层中的每个卷积滤波器)通过在模型参数中使用系统性扰动为每个客户端生成多样化的模型(在近邻域内),以改善泛化和安全性。我们在四个基准数据集上评估了我们提出的方法以验证其优越性。在模型效用和对隐私泄漏的鲁棒性方面,我们超越了 SOTA 方法。我们通过使用几个定量和定性结果评估性能,证明了我们方法的有效性。
引用
@article{arxiv.2504.02213,
title = {Secure Generalization through Stochastic Bidirectional Parameter Updates Using Dual-Gradient Mechanism},
author = {Shourya Goel and Himanshi Tibrewal and Anant Jain and Anshul Pundhir and Pravendra Singh},
journal= {arXiv preprint arXiv:2504.02213},
year = {2025}
}