轻量化联邦学习：结合差分隐私与应变韧性
密码学与安全
2025-01-14 v2 分布式、并行与集群计算
摘要
联邦学习（FL）通过参数交换而非原始数据交换，实现协作模型训练。为避免来自交换参数的推断攻击，差分隐私（DP）提供了对各种攻击的严格保障。然而，常规方法仅通过添加局部噪声来确保DP往往导致训练精度低下。将安全多方计算（SMPC）与DP结合虽可提升精度，但会产生高通信和计算开销，以及对应变主体的脆弱性，无论是客户端到服务器端，亦或是客户端到客户端之间的链接。本文提出LightDP-FL方案，一种新型轻量化方案，确保对不可信任的同行和服务器端的可证明DP，同时保持应变韧性、低开销和高训练精度。该方案将个体噪声和成对噪声纳入每个客户端的参数中，可实现最小开销。鉴于不可预测的应变主体和叛徒集合，我们利用应变主体和叛徒数量的上限，证明了在最坏情况下确保DP的充分噪声方差条件。此外，我们优化了预期收敛上界，通过灵活控制噪声方差来确保准确性性能。使用CIFAR-10数据集，我们的实验结果表明，LightDP-FL在相同DP水平下的收敛速度更快，应变韧性更强。
引用
@article{arxiv.2412.06120,
title = {Lightweight Federated Learning with Differential Privacy and Straggler Resilience},
author = {Shu Hong and Xiaojun Lin and Lingjie Duan},
journal= {arXiv preprint arXiv:2412.06120},
year = {2025}
}
备注
To appear at IEEE International Conference on Computer Communications (INFOCOM) 2025