一种安全且私有的分布式贝叶斯联邦学习设计

分布式联邦学习（DFL）允许在没有中心参数服务器的情况下进行大规模系统上的去中心化模型训练。然而，DFL面临三个关键挑战：来自诚实但好奇的邻居的隐私泄露、由于缺乏中心协调导致的收敛速度慢，以及面向旨在降低模型准确性的拜占庭敌人的脆弱性。为解决这些问题，我们提出了一种新型DFL框架，集成了拜占庭鲁棒性、隐私保护和收敛加速。在该框架中，每个设备使用贝叶斯方法训练本地模型，并独立选择邻居子集进行后验交换。我们将邻居选择问题形式化为在安全和隐私约束下最小化全局损失函数的优化问题。解决这一问题具有挑战性，因为设备仅拥有部分网络信息，而拓扑、安全和收敛之间的复杂耦合关系尚不清晰。为弥合这一差距，我们首先分析了动态连通性、拜占庭检测、隐私水平和收敛速度之间的权衡。基于这些洞见，我们开发了一个基于图神经网络（GNN）的全分布强化学习（RL）算法。该方法使设备能够基于本地观察做出自主连接决策。仿真结果表明，我们的方法在显著低于传统安全和隐私方案的开销下实现了优越的鲁棒性和效率。