SPEAR++：通过稀疏使用字典学习扩展梯度反向工程
机器学习
2025-10-29 v1 密码学与安全
分布式、并行与集群计算
摘要
Federated Learning 最近在实际场景中得到广泛部署，因为它能够在各个客户端之间无需显式数据共享的情况下进行机器学习模型的分布式训练。然而，随着所谓梯度反向攻击的出现， fundamentally 挑战了其隐私保护属性。不幸的是，这些攻击大多依赖直接数据优化，缺乏形式化保证，使得实际系统的脆弱性仍不明确，需要针对每个新的 federated 部署进行繁琐的测试。为克服这些问题，最近提出了 SPEAR 攻击，其基于对线性层的梯度进行理论分析。虽然 SPEAR 是一次重要的理论突破，但其实践性严重受限于 batch size b 的指数级运行时间。在本 work 中，我们通过应用稀疏使用字典学习中的最先进技术，使针对线性层上带有 ReLU 激活函数的梯度反向工程问题变得可行。我们的实验表明，新的攻击 SPEAR++ 保留了 SPEAR 的所有理想属性，如对 DP 噪声和 FedAvg 聚合的鲁棒性，同时适用于 10 倍更大的 batch size。
引用
@article{arxiv.2510.24200,
title = {SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning},
author = {Alexander Bakarsky and Dimitar I. Dimitrov and Maximilian Baader and Martin Vechev},
journal= {arXiv preprint arXiv:2510.24200},
year = {2025}
}
备注
Published at the Workshop on Regulatable ML at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)