SPEAR：联邦学习中批次的精确梯度反演
机器学习
2024-12-10 v3 密码学与安全
分布式、并行与集群计算
摘要
联邦学习是一种协作机器学习框架，其中客户端仅与服务器共享梯度更新而不共享其私有数据。然而，最近的研究表明，梯度反演攻击可以从共享的梯度中重建这些数据。在重要的“诚实但好奇”设置中，现有攻击仅能对批次大小 实现精确重建，而较大的批次仅允许近似重建。在这项工作中，我们提出了 SPEAR，这是第一种能够精确重建 整个批次的算法。SPEAR 结合了对梯度显式低秩结构的洞察与基于采样的算法。关键在于，我们利用 ReLU 诱导的梯度稀疏性来精确过滤掉大量不正确的样本，使得最终的重组步骤变得可行。我们为全连接网络提供了高效的 GPU 实现，并表明它可以精确恢复批次大小高达 的高维 ImageNet 输入，同时扩展到大型网络。最后，我们从理论上证明，在指数时间内，可以以高概率重建大得多的批次。
引用
@article{arxiv.2403.03945,
title = {SPEAR:Exact Gradient Inversion of Batches in Federated Learning},
author = {Dimitar I. Dimitrov and Maximilian Baader and Mark Niklas Müller and Martin Vechev},
journal= {arXiv preprint arXiv:2403.03945},
year = {2024}
}