基于正交子空间贝叶斯抽样的梯度反向攻击防御

联邦学习在全局服务器上协同训练神经网络，每个本地客户端接收当前的全局模型权重并基于其本地私有数据发送回参数更新（梯度）。通过发送这些模型更新可能泄露客户端的私有数据信息。现有的梯度反向攻击可利用这一漏洞，从客户端的梯度向量中恢复私有训练实例。最近的研究提出了先进的梯度反向技术，而现有的防御措施难以有效应对。本文提出一种针对大型神经网络模型的新型防御方法。我们的防御利用模型参数的高维度特性，在原始梯度的正交子空间内扰动梯度。通过对正交子空间上的冷后验分布，我们的防御实现了精细化的梯度更新机制。这使得能够选择一个既能抵御梯度反向攻击又能保持模型实用性的最优梯度。我们在三个不同数据集上进行全面实验，评估了我们的方法针对各种最新攻击和防御技术的效果。代码已公开 https://censor-gradient.github.io。