构建梯度桥梁：联邦学习中由受限梯度共享导致的标签泄露
机器学习
2024-12-18 v1 密码学与安全
摘要
对数据隐私日益增长的担忧、利用多样化来源数据进行模型训练的益处，以及具备增强计算能力的联网设备的普及，共同推动了联邦学习（FL）的兴起。FL 中的客户端通过上传在其私有数据集上计算的梯度来协作训练全局模型，而无需收集原始数据。然而，梯度共享带来了新的攻击面，攻击者可以通过分析获取的梯度来恢复受害者私有数据的标签分布。为了缓解这种隐私泄露，现有的轻量级防御机制限制了梯度的共享，例如加密最后一层梯度或在本地更新内部参数。本文引入了一种名为梯度桥梁（Gradient Bridge, GDBR）的新型攻击方法，能够从 FL 中共享的有限梯度信息中恢复训练数据的标签分布。GDBR 探索了各层梯度之间的关系，追踪梯度的流动，并解析地推导出批量训练标签。大量实验表明，GDBR 能够在各种 FL 设置下准确恢复 80% 以上的标签。GDBR 揭示了基于受限梯度共享的防御机制的不足，呼吁在 FL 中设计有效的防御方案。
引用
@article{arxiv.2412.12640,
title = {Building Gradient Bridges: Label Leakage from Restricted Gradient Sharing in Federated Learning},
author = {Rui Zhang and Ka-Ho Chow and Ping Li},
journal= {arXiv preprint arXiv:2412.12640},
year = {2024}
}