实用化的差分隐私与拜占庭容错联邦学习
机器学习
2023-08-03 v1 人工智能
密码学与安全
摘要
隐私与拜占庭容错是联邦学习（FL）系统两个不可或缺的要求。尽管在隐私和拜占庭安全各自的研究轨道上已有广泛研究，但同时考虑两者的解决方案仍然稀少。这是由于难以协调隐私保护与拜占庭容错算法。在本文中，我们针对这一双重问题提出一种解决方案。我们使用我们改进的差分隐私随机梯度下降（DP-SGD）算法来保护隐私，然后应用我们的拜占庭容错算法。我们注意到，虽然现有工作遵循这一总体思路，但忽略了DP与拜占庭容错之间相互作用的深入分析，导致性能不尽如人意。具体而言，对于DP引入的随机噪声，先前工作力求减少其对拜占庭聚合的影响。相反，我们利用该随机噪声构建一种聚合方式，有效拒绝许多现有的拜占庭攻击。我们提供理论证明与实证实验以表明我们的协议是有效的：在保持DP保证与拜占庭容错的同时保留高准确率。与先前工作相比，我们的协议1）即使在高度隐私机制下也实现显著更高的准确率；2）即使在多达90%的分布式工作节点为拜占庭节点时仍表现良好。
引用
@article{arxiv.2304.09762,
title = {Practical Differentially Private and Byzantine-resilient Federated Learning},
author = {Zihang Xiang and Tianhao Wang and Wanyu Lin and Di Wang},
journal= {arXiv preprint arXiv:2304.09762},
year = {2023}
}