基于梯度拆分在非独立同分布数据上的拜占庭鲁棒学习
机器学习
2023-06-06 v2 人工智能
密码学与安全
摘要
联邦学习已表现出对拜占庭攻击的脆弱性，其中拜占庭攻击者可向中央服务器发送任意梯度以破坏全局模型的收敛与性能。已有大量鲁棒聚合规则（AGRs）被提出以防御拜占庭攻击。然而，在数据非独立同分布（non-IID）时，拜占庭客户端仍可能规避鲁棒 AGRs。本文首先揭示了当前鲁棒 AGRs 在 non-IID 设置下性能退化的根本原因：维度灾难与梯度异质性。为解决此问题，我们提出 GAS，一种可成功使现有鲁棒 AGRs 适应 non-IID 设置的简短方法。我们还提供了现有鲁棒 AGRs 与 GAS 结合时的详细收敛分析。在多个真实世界数据集上的实验验证了我们提出的 GAS 的有效性。实现代码见 https://github.com/YuchenLiu-a/byzantine-gas。
引用
@article{arxiv.2302.06079,
title = {Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting},
author = {Yuchen Liu and Chen Chen and Lingjuan Lyu and Fangzhao Wu and Sai Wu and Gang Chen},
journal= {arXiv preprint arXiv:2302.06079},
year = {2023}
}