DP-BREM：具有客户端动量的差分隐私与拜占庭鲁棒联邦学习
密码学与安全
2024-12-17 v4
摘要
联邦学习（FL）允许多个参与客户端协作训练机器学习模型，同时将其数据集保留在本地，仅与协调服务器交换梯度或模型更新。现有 FL 协议易受旨在破坏数据隐私和/或模型鲁棒性的攻击。近期提出的防御方法侧重于确保隐私或鲁棒性之一，而非两者兼顾。本文基于从历史中学习的思想，专注于为跨孤岛 FL 同时实现差分隐私（DP）和拜占庭鲁棒性。鲁棒性通过客户端动量实现，该方法对每个客户端的更新随时间进行平均，从而降低诚实客户端的方差，并暴露拜占庭客户端微小恶意扰动——这些扰动在单轮中不可检测但会随时间累积。在我们的初始方案 DP-BREM 中，DP 通过对聚合动量添加噪声实现，并且我们考虑了来自动量的隐私代价，这与传统 DP-SGD 考虑来自梯度的隐私代价不同。由于 DP-BREM 假设存在可信服务器（可获取客户端本地模型或更新），我们进一步开发了最终方案 DP-BREM+，其利用安全聚合技术，在无可信服务器情况下实现与 DP-BREM 相同的 DP 和鲁棒性属性，其中 DP 噪声由客户端安全联合生成。理论分析与实验结果均表明，在不同 DP 预算和攻击设定下，我们提出的协议相比若干基线方法实现了更优的隐私-效用权衡和更强的拜占庭鲁棒性。
引用
@article{arxiv.2306.12608,
title = {DP-BREM: Differentially-Private and Byzantine-Robust Federated Learning with Client Momentum},
author = {Xiaolan Gu and Ming Li and Li Xiong},
journal= {arXiv preprint arXiv:2306.12608},
year = {2024}
}
备注
Accepted by USENIX Security 2025