联邦学习中利用混合梯度策略增强抵御反演攻击的隐私性

联邦学习降低了信息泄露的风险，但仍然容易受到攻击。我们研究了若干神经网络设计决策如何能够防御梯度反演攻击。我们表明，重叠梯度为高度脆弱的全连接层提供了抵抗梯度反演的数值能力。具体来说，我们提出利用批处理，通过选择合适的损失函数并抽取相同标签，来最大化梯度的混合。我们表明，否则，由于交叉熵损失的去混合特性，无需任何数值优化即可直接恢复小批量中的所有向量。为了准确评估数据恢复情况，我们引入了一种基于全变分的图像信息泄露绝对变分距离（AVD）度量。与标准度量（如均方误差或结构相似性指数）相比，AVD为提取噪声图像中的信息提供了一个连续的度量。最后，我们对各种反演攻击的信息恢复和训练性能的实验结果支持了我们的防御策略。这些策略也被证明对用于图像识别的深度卷积神经网络（如LeNET）有用。我们希望这项研究将有助于指导实现可信联邦策略的进一步策略的开发。