基于鲁棒优化的时序梯度反演攻击
机器学习
2023-06-14 v1 密码学与安全
摘要
联邦学习（FL）已成为一种无需共享私有数据即可进行协作模型训练的有前景的方法。然而，关于 FL 期间交换信息的隐私问题已受到大量研究关注。梯度反演攻击（GIAs）被提出用于从交换的梯度中重建本地客户端保留的私有数据。在恢复私有数据时，数据维度和模型复杂度的增加阻碍了 GIAs 的数据重建。现有方法采用关于私有数据的先验知识来克服这些挑战。在本文中，我们首先观察到，由于泄漏梯度的维度不足、模型架构复杂以及梯度信息无效，使用单次迭代梯度的 GIAs 无法重建私有数据。我们研究了一种带鲁棒优化框架的时序梯度反演攻击，称为 TGIAs-RO，其通过利用多个时序梯度在无任何先验知识的情况下恢复私有数据。为消除异常值（例如用于协作优化的无效梯度）的负面影响，我们提出了鲁棒统计量。我们还提供了关于 TGIAs-RO 恢复性能及对无效梯度鲁棒性的理论保证。在 MNIST、CIFAR10、ImageNet 和 Reuters 21578 数据集上的大量实证结果表明，所提出的带 10 个时序梯度的 TGIAs-RO 相比最先进的方法提升了重建性能，即便对于大批量大小（高达 128）、如 ResNet18 的复杂模型以及如 ImageNet（224*224 像素）的大型数据集也是如此。此外，所提出的攻击方法启发了在 FL 背景下对隐私保护方法的进一步探索。
引用
@article{arxiv.2306.07883,
title = {Temporal Gradient Inversion Attacks with Robust Optimization},
author = {Bowen Li and Hanlin Gu and Ruoxin Chen and Jie Li and Chentao Wu and Na Ruan and Xueming Si and Lixin Fan},
journal= {arXiv preprint arXiv:2306.07883},
year = {2023}
}
备注
24 pages