CB-DSL：面向非独立同分布数据的通信高效且拜占庭鲁棒的分布式群智能学习
信号处理
2022-10-24 v2
摘要
边缘网络中物联网设备收集的宝贵数据连同机器学习的复兴刺激了边缘 AI 的最新趋势。然而，近期的联邦学习（FL）方法面临主要挑战，包括通信瓶颈、数据异构性和边缘物联网场景中的安全问题，尤其是在被用于配备有限数据和传输资源的大量物联网设备间的分布式学习时。同时，物联网系统的群智能（swarm）本质被大多数现有文献所忽视，这呼吁分布式学习算法的新设计。受群居生物生物智能（BI）成功的启发，我们提出了一种用于群智能物联网的新型边缘学习方法，称为通信高效且拜占庭鲁棒的分布式群智能学习（CB-DSL），通过 AI 驱动的随机梯度下降与 BI 驱动的粒子群优化的整体集成实现。为应对非独立同分布（non-i.i.d.）数据问题和拜占庭攻击，CB-DSL 中引入了全局数据样本并在物联网工作节点间共享，这不仅有效缓解了本地数据异构性，还使得能够充分利用群智能的探索-利用机制。进一步，我们提供收敛性分析以从理论上证明所提 CB-DSL 优于标准 FL，具有更好的收敛行为。此外，为衡量引入全局共享数据集的有效性，我们还通过推导模型散度的上界来评估模型散度，该上界与本地物联网设备处的数据分布同整体数据集的总体分布之间的距离相关。数值结果验证了所提 CB-DSL 在更快收敛速度、更高收敛精度、更低通信成本以及针对非 i.i.d. 数据和拜占庭攻击更好鲁棒性方面优于现有基准。
引用
@article{arxiv.2208.05578,
title = {CB-DSL: Communication-efficient and Byzantine-robust Distributed Swarm Learning on Non-i.i.d. Data},
author = {Xin Fan and Yue Wang and Yan Huo and Zhi Tian},
journal= {arXiv preprint arXiv:2208.05578},
year = {2022}
}
备注
update theoretical and simulation results