随机梯度掩码作为联邦学习中防御深度泄露的防御措施
机器学习
2024-08-19 v1 密码学与安全
摘要
联邦学习（FL）在理论上在保护各客户端数据隐私的同时生成高质量的机器学习模型。然而，如梯度深度泄露（DLG）等攻击严重质疑了 FL 的实用性。本文我们实证评估了四种防御方法对 DLG 的有效性：掩码（Masking）、裁剪（Clipping）、剪枝（Pruning）和噪声添加（Noising）。掩码此前仅作为参数传输过程中的信息压缩手段被研究，但与另外三种成熟方法相比，其展现出令人惊讶的稳健防御能力。我们的实验分两步进行。首先，我们在 MNIST、CIFAR-10 和 lfw 数据集上评估每种方法的最小超参数阈值。然后，我们使用每种方法及其最小阈值训练 FL 客户端，以研究 DLG 防御与训练性能之间的权衡。结果表明，掩码和裁剪在性能上几乎无退化，同时混淆了足够的信息以有效防御 DLG。
引用
@article{arxiv.2408.08430,
title = {Random Gradient Masking as a Defensive Measure to Deep Leakage in Federated Learning},
author = {Joon Kim and Sejin Park},
journal= {arXiv preprint arXiv:2408.08430},
year = {2024}
}
备注
13 pages, 5 figures, to be submitted to Applied Intelligence