LEGATO：一种用于缓解联邦学习中拜占庭攻击的分层梯度聚合算法
机器学习
2021-07-28 v1 密码学与安全
分布式、并行与集群计算
摘要
联邦学习已成为一种允许多个参与方在不共享数据的情况下协作训练模型的机制。在此类设定中，参与方（工作者）之间可能并不完全互信；例如，一组竞争者可能协作训练一个机器学习模型以检测欺诈。工作者提供本地梯度，中央服务器利用这些梯度更新全局模型。当拜占庭工作者发送恶意梯度时，该全局模型可能被破坏，这就需要鲁棒的梯度聚合方法来减轻拜占庭输入的 adverse 影响。现有的鲁棒聚合算法通常计算昂贵且仅在严格假设下有效。本文中，我们提出分层梯度聚合（LayerwisE Gradient AggregatTiOn，LEGATO），一种与之相比可扩展且可泛化的聚合算法。基于对梯度在拜占庭攻击下层特异性响应的研究，LEGATO 采用了一种动态梯度重加权方案，其基于层特异性鲁棒性处理梯度的方式是新颖的。我们表明 LEGATO 比多种最先进技术更具计算效率，且在实践中多种攻击设定下具有更普遍的鲁棒性。我们还展示了在无攻击情况下 LEGATO 对梯度下降收敛的益处。
引用
@article{arxiv.2107.12490,
title = {LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning},
author = {Kamala Varma and Yi Zhou and Nathalie Baracaldo and Ali Anwar},
journal= {arXiv preprint arXiv:2107.12490},
year = {2021}
}