抗梯度泄露攻击的弹性深度学习

梯度泄露攻击被认为是深度学习中最为恶劣的隐私威胁之一，攻击者在迭代训练过程中秘密窥探梯度更新而不损害模型训练质量，却能利用泄露的梯度以高攻击成功率秘密重构敏感训练数据。尽管带有差分隐私的深度学习是发布具备差分隐私保证的深度学习模型的事实标准，我们表明具有固定隐私参数的差分隐私算法易受梯度泄露攻击。本文研究具有差分隐私（DP）的抗梯度泄露弹性深度学习的替代方法。首先，我们分析现有的带差分隐私的深度学习实现，其使用固定噪声方差并通过固定隐私参数向所有层的梯度注入恒定噪声。尽管提供了 DP 保证，该方法存在准确率低下且易受梯度泄露攻击的问题。其次，我们提出一种使用动态隐私参数的抗梯度泄露弹性深度学习方法并具备差分隐私保证。与导致恒定噪声方差的固定参数策略不同，不同的动态参数策略提供了引入自适应噪声方差与自适应噪声注入的替代技术，这些技术与差分隐私模型训练期间梯度更新的趋势紧密对齐。最后，我们描述四个互补的指标来评估和比较替代方法。