基于协作式分层非贝叶斯学习的网络容错与拜占庭弹性社会学习
机器学习
2023-07-28 v1 分布式、并行与集群计算
网络与互联网体系结构
摘要
随着网络规模增大,现有的全分布式方案开始落后于现实挑战,例如(1)信息传播缓慢,(2)网络通信故障,以及(3)外部对抗攻击。本文关注分层系统架构,并解决易受通信故障与对抗攻击影响的网络上的非贝叶斯学习问题。在网络通信方面,我们考虑丢包链路故障。我们首先提出一种分层鲁棒 push-sum 算法,其能在频繁丢包链路故障下实现平均一致性。我们提供了参数服务器与任意选定网络代表之间的稀疏信息融合规则。然后,将一致性更新步骤与以 Kullback-Leibler(KL)散度为近端函数的对偶平均更新交错,我们得到一种丢包容错非贝叶斯学习算法,具有可证明的收敛保证。在外部对抗攻击方面,我们考虑拜占庭攻击,其中被攻陷的智能体可向其他方(包括智能体与参数服务器)发送恶意校准的消息。为避免拜占庭一致性的维数灾难,我们通过运行多个动力学来解决非贝叶斯学习问题,每个动力学仅涉及标量输入的拜占庭一致性。为促进子网络间弹性信息传播,我们在参数服务器处使用一种新颖的拜占庭弹性 gossip 型规则。
引用
@article{arxiv.2307.14952,
title = {Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning},
author = {Connor Mclaughlin and Matthew Ding and Denis Edogmus and Lili Su},
journal= {arXiv preprint arXiv:2307.14952},
year = {2023}
}
备注
11 pages, 1 figure