重审梯度剪枝：一种防御梯度攻击的双重实现
密码学与安全
2024-01-31 v1 机器学习
摘要
协作学习（CL）是一种分布式学习框架，旨在通过允许用户仅共享其梯度更新来共同训练模型，从而保护用户隐私。然而，梯度反转攻击（GIA）能够从共享梯度中恢复用户的训练数据，对协作学习构成了严重的隐私威胁。现有的防御方法采用不同的技术，例如差分隐私、密码学和扰动防御，来抵御GIA。然而，所有当前的防御方法在隐私性、效用性和效率之间都存在较差的权衡。为了缓解现有解决方案的弱点，我们提出了一种基于梯度剪枝的新型防御方法——双重梯度剪枝（DGP），它可以在保持协作学习效用性和隐私性的同时提高通信效率。具体来说，DGP 通过更强的隐私保证对梯度剪枝进行了轻微改动。并且，DGP 还能显著提高通信效率，并对其收敛性和泛化能力进行了理论分析。我们的大量实验表明，DGP 能够有效防御最强大的GIA，并在不牺牲模型效用的情况下降低通信成本。
引用
@article{arxiv.2401.16687,
title = {Revisiting Gradient Pruning: A Dual Realization for Defending against Gradient Attacks},
author = {Lulu Xue and Shengshan Hu and Ruizhi Zhao and Leo Yu Zhang and Shengqing Hu and Lichao Sun and Dezhong Yao},
journal= {arXiv preprint arXiv:2401.16687},
year = {2024}
}