通过聚合优化实现同时抵御数据异质性与投毒攻击的鲁棒联邦学习
机器学习
2022-11-22 v2 计算机视觉与模式识别
分布式、并行与集群计算
摘要
客户端间的Non-IID数据分布和投毒攻击是现实世界联邦学习（FL）系统面临的两大主要挑战。尽管两者都引起了极大的研究兴趣并开发了特定策略，但尚无已知解决方案能在统一框架中同时解决它们。为了普遍克服这两个挑战，我们提出了SmartFL，这是一种通用方法，通过服务提供商自身收集的少量代理数据，利用子空间训练技术优化服务器端聚合过程。具体而言，每轮每个参与客户端的聚合权重均使用服务器收集的代理数据进行优化，这本质上是在客户端模型张成的凸包中对全局模型进行优化。由于在每一轮中，服务器端优化的可调参数数量等于参与客户端的数量（因此与模型大小无关），我们能够仅使用少量代理数据（例如约一百个样本）训练具有海量参数的全局模型。通过优化的聚合，SmartFL确保了对异质客户端和恶意客户端的鲁棒性，这在现实世界FL中是非常理想的，因为其中可能发生任一或同时发生两种问题。我们提供了SmartFL的收敛性和泛化能力的理论分析。在实验上，SmartFL在具有Non-IID数据分布的FL和具有恶意客户端的FL上均取得了最先进的性能。源代码将发布。
引用
@article{arxiv.2211.05554,
title = {Robust Federated Learning against both Data Heterogeneity and Poisoning Attack via Aggregation Optimization},
author = {Yueqi Xie and Weizhong Zhang and Renjie Pi and Fangzhao Wu and Qifeng Chen and Xing Xie and Sunghun Kim},
journal= {arXiv preprint arXiv:2211.05554},
year = {2022}
}