QBI：基于分位数的偏置初始化，用于高效的隐私数据重construct in联邦学习
机器学习
2024-09-30 v2
摘要
联邦学习允许在不泄露用户隐私的情况下训练机器学习模型，因为数据保留在个人设备上，仅共享模型更新（如梯度）给中心协调器。然而，最近的研究表明，中心实体可以通过恶意初始化模型参数来从共享的模型更新中完美重构私有数据。在本文中，我们提出了QBI（Quantile-Based Bias Initialization），一种新的偏置初始化方法，显著增强了重construct 能力。这一方法通过直接求解产生稀疏激活模式的偏置值来实现。进一步，我们提出了PAIRS算法，这是基于QBI构建的算法。当可获得与目标领域相关的独立数据集时，可部署PAIRS以进一步提高可完全恢复的数据比例。我们的方法以可重construct的样本比例衡量，在不同批量大小下，与先前方法相比提升幅度达到ImageNet上50%，在IMDB情感分析文本数据集上达到60%。此外，我们建立了利用随机梯度稀疏性进行攻击的理论极限，为理解这些攻击的根本约束提供了基础。我们使用合成数据集对这些极限进行了实证评估。最后，我们提出并评估了AGGP（Adversarial Gradient Pruning Framework），这是一种防止梯度稀疏性攻击的防御框架，旨在发展更安全更私密的联邦学习系统。
引用
@article{arxiv.2406.18745,
title = {QBI: Quantile-Based Bias Initialization for Efficient Private Data Reconstruction in Federated Learning},
author = {Micha V. Nowak and Tim P. Bott and David Khachaturov and Frank Puppe and Adrian Krenzer and Amar Hekalo},
journal= {arXiv preprint arXiv:2406.18745},
year = {2024}
}