面向通信高效异构性联邦学习的 Byzantine 抗性零阶优化
机器学习
2025-02-04 v1 密码学与安全
分布式、并行与集群计算
机器学习
摘要
我们提出了 CyBeR-0，这是一种面向 Byzantine 攻击鲁棒且在上行和下行通信成本方面具有显著节省的联邦零阶优化方法。我们引入变换鲁棒聚合，以为一般非凸目标提供客户端数据异构性下的收敛保证。经验评估表明，CyBeR-0 在标准学习任务和大型语言模型微调中表现稳定，仅需少量标量即可实现每轮通信成本，同时显著降低内存需求。
引用
@article{arxiv.2502.00193,
title = {Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning},
author = {Maximilian Egger and Mayank Bakshi and Rawad Bitar},
journal= {arXiv preprint arXiv:2502.00193},
year = {2025}
}