联邦学习真的能被植入后门吗？
机器学习
2019-12-04 v2 密码学与安全
机器学习
摘要
联邦学习的去中心化特性使得检测和防御对抗攻击成为一项具有挑战性的任务。本文关注联邦学习场景下的后门攻击，其中攻击者的目标是在保持主任务良好性能的同时降低模型在目标任务上的性能。与现有工作不同，我们允许非恶意客户端拥有来自目标任务的正确标注样本。我们针对 EMNIST 数据集（一个真实的、按用户划分且非独立同分布的数据集）对后门攻击与防御进行了全面研究。我们观察到，在没有防御的情况下，攻击的效果在很大程度上取决于攻击者的比例以及目标任务的“复杂度”。此外，我们表明范数裁剪和“弱”差分隐私能够在不损害整体性能的情况下缓解攻击。我们已在 TensorFlow Federated (TFF)（一个用于联邦学习的 TensorFlow 框架）中实现了这些攻击与防御。通过开源我们的代码，我们旨在鼓励研究人员贡献新的攻击与防御方法，并在标准联邦数据集上对其进行评估。
引用
@article{arxiv.1911.07963,
title = {Can You Really Backdoor Federated Learning?},
author = {Ziteng Sun and Peter Kairouz and Ananda Theertha Suresh and H. Brendan McMahan},
journal= {arXiv preprint arXiv:1911.07963},
year = {2019}
}
备注
To appear at the 2nd International Workshop on Federated Learning for Data Privacy and Confidentiality at NeurIPS 2019