可证明安全的抗恶意客户端联邦学习
密码学与安全
2021-10-28 v4 分布式、并行与集群计算
机器学习
摘要
联邦学习使客户端能够协作学习共享的全局模型，而无需向云服务器共享其本地训练数据。然而，恶意客户端可破坏全局模型，使测试样本预测错误标签。现有针对恶意客户端的防御依赖于拜占庭鲁棒联邦学习方法。但这些方法无法可证明地保证测试样本的预测标签不受恶意客户端影响。我们通过集成联邦学习弥补此差距。具体而言，给定任意基础联邦学习算法，我们利用该算法学习多个全局模型，每个模型使用随机选取的客户端子集学习得到。在预测测试样本标签时，我们取全局模型的多数投票。我们证明，配以任意基础联邦学习算法的我们的集成联邦学习可证明安全地抵御恶意客户端。具体地，我们的集成全局模型对测试样本预测的标签可证明不受有界数量恶意客户端的影响。此外，我们证明所推导的界是紧的。我们在 MNIST 和 Human Activity Recognition 数据集上评估了我们的方法。例如，当有 20 个恶意客户端（共 1,000 个）时，我们的方法在 MNIST 上可达到 88% 的认证准确率。
引用
@article{arxiv.2102.01854,
title = {Provably Secure Federated Learning against Malicious Clients},
author = {Xiaoyu Cao and Jinyuan Jia and Neil Zhenqiang Gong},
journal= {arXiv preprint arXiv:2102.01854},
year = {2021}
}
备注
Accepted by AAAI-21. For slides, see https://people.duke.edu/~zg70/code/Secure_Federated_Learning.pdf . For the talk, see https://www.youtube.com/watch?v=LP4uqW18yA0