去中心化联邦学习的无损隐私保护聚合
机器学习
2025-02-05 v2
摘要
随着敏感数据的扩散,隐私问题日益突出。尽管去中心化联邦学习(DFL)通过聚合邻居的梯度来避免直接数据传输,但仍会从传输的梯度中泄露间接数据。现有的 DFL 隐私保护方法通过向梯度添加噪声,但要么降低模型预测精度,要么噪声保护效果不佳。本文提出一种新的无损隐私保护聚合规则,称为 LPPA,以最大程度增强梯度保护,而不牺牲 DFL 模型预测精度。LPPA 通过向传输的梯度中微妙地注入噪声差值来实现梯度保护。这种噪声差值包含每个客户机的邻居随机性,有效防止数据泄露。LPPA 采用噪声流动守恒理论,确保噪声影响可在全局消除。所有噪声差值的总和为零,这确保了准确的梯度聚合不受影响且模型精度得以保持。我们在理论上证明,LPPA 的隐私保护能力是噪声添加方法的 倍,同时保持与在不注入噪声的情况下进行的标准 DFL 聚合相当的模型精度。实验结果验证了理论发现,表明 LPPA 在噪声添加方法上实现了 14% 的平均精度提升。我们还演示了 LPPA 在保护原始数据和保证无损模型精度方面的有效性。
引用
@article{arxiv.2501.04409,
title = {Lossless Privacy-Preserving Aggregation for Decentralized Federated Learning},
author = {Xiaoye Miao and Bin Li and Yanzhang and Xinkui Zhao and Yangyang Wu},
journal= {arXiv preprint arXiv:2501.04409},
year = {2025}
}