迈向联邦学习中的通用深度泄露
机器学习
2022-01-27 v2 人工智能
摘要
与传统集中式训练不同，联邦学习通过共享和聚合本地模型而非本地数据来保护用户隐私，从而提升全局模型的性能。尽管这种训练方式看似安全，但一些研究表明，攻击者仍能基于共享的梯度信息恢复出私有数据。这种即时重构攻击值得深入研究，因为它可能发生在训练的任何阶段，无论是在模型训练的开始还是结束；它不需要相关数据集，也不需要训练额外的模型。我们突破了一些不切实际的假设和限制，将这种重构攻击应用于更广泛的场景。我们提出了可以从共享梯度或权重中重构训练数据的方法，分别对应于 FedSGD 和 FedAvg 的使用场景。我们提出了一种零样本方法来恢复标签，即使批次中存在重复标签。我们研究了标签与图像恢复之间的关系。我们发现，即使批次中仅有一个推断错误的标签，图像恢复也会失败；我们还发现，当批次图像具有相同标签时，相应的图像会被恢复为该类图像的融合。我们的方法在经典图像基准上进行了评估，包括 CIFAR-10 和 ImageNet。我们方法的批次大小、图像质量和标签分布的适应性均超过了最先进的 GradInversion。
引用
@article{arxiv.2110.09074,
title = {Towards General Deep Leakage in Federated Learning},
author = {Jiahui Geng and Yongli Mou and Feifei Li and Qing Li and Oya Beyan and Stefan Decker and Chunming Rong},
journal= {arXiv preprint arXiv:2110.09074},
year = {2022}
}