使用带异常点的 1-中心与 1-均值聚类实现分布式学习的近最优鲁棒聚合规则
机器学习
2024-04-02 v2 分布式、并行与集群计算
摘要
鉴于大规模分布式学习系统中可能出现的不可预测故障，拜占庭机器学习引起了广泛关注。分布式学习中抵御拜占庭机器的安全鲁棒性的关键在于鲁棒聚合机制。尽管已有大量鲁棒聚合规则被提出，但它们均以特定方式设计，这为跨性能指标比较、分析和改进这些规则设置了额外障碍。本文研究在存在异常点的情况下使用聚类方法的近最优聚合规则。我们的异常点鲁棒聚类方法利用了工作者提供的更新向量的几何性质。我们的分析表明，对带异常点的 1-中心和 1-均值聚类问题的常数近似，可为基于度量的准则提供近最优的鲁棒聚合器，这已被证明在同质和异构情形中分别至关重要。此外，我们讨论了两种相互矛盾的攻击类型，在此类攻击下没有任何单一聚合规则能保证优于朴素平均。基于该讨论，我们提出了一种两阶段鲁棒聚合框架。我们使用非凸损失函数进行了图像分类实验。所提算法在同构与异构数据分布的非故障工作者中，均以大幅优势优于此前已知的聚合规则。代码与附录见 https://github.com/jerry907/AAAI24-RASHB。
引用
@article{arxiv.2312.12835,
title = {Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers},
author = {Yuhao Yi and Ronghui You and Hong Liu and Changxin Liu and Yuan Wang and Jiancheng Lv},
journal= {arXiv preprint arXiv:2312.12835},
year = {2024}
}
备注
17 pages, 4 figures. Accepted by the 38th Annual AAAI Conference on Artificial Intelligence (AAAI'24)