如何防御联邦学习中的大规模模型投毒攻击：一种垂直解决方案
机器学习
2024-11-19 v1 密码学与安全
摘要
联邦学习（FL）因其分布式特性而易受模型投毒攻击。当前防御从每轮通信中所有用户的梯度（模型更新）出发，求解最优聚合梯度（水平解决方案）。面对大规模（>50%）模型投毒攻击时，这种水平解决方案将完全失效。本文基于模型收敛过程是高度可预测这一关键洞察，跳出传统防御的水平解决方案，创新性地将求解最优聚合梯度的问题转化为垂直解决方案问题。我们提出 VERT，以全局通信轮次为垂直轴，利用历史梯度信息训练预测器预测用户梯度，并通过与实际用户梯度的相似度比较，精准高效地筛选最优聚合梯度。为降低 VERT 的计算复杂度，我们设计了一个低维向量投影器，将用户梯度投影到计算可接受的长度，随后进行预测器训练和预测任务。详尽实验表明，VERT 高效且可扩展，在不同 FL 场景下对大规模（>=80%）模型投毒攻击展现出优异的防御效果。此外，我们可为不同模型结构设计不同结构的投影器，以适应算力不同的聚合服务器。
引用
@article{arxiv.2411.10673,
title = {How to Defend Against Large-scale Model Poisoning Attacks in Federated Learning: A Vertical Solution},
author = {Jinbo Wang and Ruijin Wang and Fengli Zhang},
journal= {arXiv preprint arXiv:2411.10673},
year = {2024}
}