AGIC：联邦学习中的近似梯度反演攻击
机器学习
2022-07-15 v3 分布式、并行与集群计算
摘要
联邦学习是一种按设计私有的分布式学习范式，客户端先在本地数据上训练本地模型，然后中央服务器聚合其本地更新以计算全局模型。根据所用聚合方法，本地更新要么是本地学习模型的梯度，要么是权重。近期的重构攻击在单个小批量的梯度更新上应用梯度反演优化，以重构训练期间客户端使用的私有数据。由于最先进的重构攻击仅关注单次更新，现实中的对抗场景被忽视，例如跨多个更新的观测以及由多个小批量训练得到的更新。少数研究考虑了更具挑战性的对抗场景，即仅能观测到基于多个小批量的模型更新，并借助计算昂贵的模拟来分离每个本地步骤的底层样本。在本文中，我们提出 AGIC，一种新颖的近似梯度反演攻击，可高效且有效地从模型或梯度更新中、并跨多个轮次重构图像。简而言之，AGIC（i）从模型更新中近似所用训练样本的梯度更新，以避免昂贵的模拟过程，（ii）利用从多个轮次收集的梯度/模型更新，以及（iii）根据神经网络结构为各层分配递增的权重以提升重构质量。我们在 CIFAR-10、CIFAR-100 和 ImageNet 三个数据集上广泛评估 AGIC。结果表明，与两种代表性的最先进梯度反演攻击相比，AGIC 将峰值信噪比（PSNR）提高至多 50%。此外，AGIC 快于最先进的基于模拟的攻击，例如，在攻击两次模型更新间有 8 个本地步的 FedAvg 时，其速度快 5 倍。
引用
@article{arxiv.2204.13784,
title = {AGIC: Approximate Gradient Inversion Attack on Federated Learning},
author = {Jin Xu and Chi Hong and Jiyue Huang and Lydia Y. Chen and Jérémie Decouchant},
journal= {arXiv preprint arXiv:2204.13784},
year = {2022}
}
备注
This paper is accepted at the 41st International Symposium on Reliable Distributed Systems (SRDS 2022)