反转梯度——在联邦学习中破坏隐私有多容易？
计算机视觉与模式识别
2020-09-14 v2 密码学与安全
机器学习
摘要
联邦学习的思想是在服务器上协作训练神经网络。每个用户接收网络的当前权重，并依次发送基于本地数据的参数更新（梯度）。该协议不仅被设计用于数据高效地训练神经网络，而且还为用户提供隐私益处，因为他们的输入数据保留在设备上，仅共享参数梯度。但是共享参数梯度有多安全？先前的攻击提供了一种虚假的安全感，因为它们仅在人为设定的环境中才能成功——即使对于单张图像也是如此。然而，通过利用幅度不变损失以及基于对抗攻击的优化策略，我们表明实际上可以从参数梯度的知识中忠实地重建高分辨率图像，并证明这种隐私破坏即使对于训练好的深度网络也是可能的。我们分析了架构以及参数对重建输入图像难度的影响，并证明全连接层的任何输入都可以解析地重建，而与其余架构无关。最后，我们讨论了实践中遇到的场景，并表明在计算机视觉的联邦学习应用中，即使在多次迭代或多张图像上对梯度进行平均，也无法保护用户的隐私。
引用
@article{arxiv.2003.14053,
title = {Inverting Gradients -- How easy is it to break privacy in federated learning?},
author = {Jonas Geiping and Hartmut Bauermeister and Hannah Dröge and Michael Moeller},
journal= {arXiv preprint arXiv:2003.14053},
year = {2020}
}
备注
23 pages, 20 figures. The first three authors contributed equally