同质学习：基于自注意力的去中心化深度学习
机器学习
2022-03-23 v1 人工智能
摘要
联邦学习（FL）已在医疗图像分类、网络入侵检测等诸多领域促进隐私保护的深度学习。然而，它需要一个中心参数服务器进行模型聚合，这带来了模型通信延迟以及对对抗攻击的脆弱性。像群体学习这样的完全去中心化架构允许分布式节点间点对点通信，无需中心服务器。去中心化深度学习中最具挑战性的问题之一是每个节点拥有的数据通常是非独立同分布（non-IID）的，导致模型训练收敛耗时。为此，我们提出一种称为同质学习（HL）的去中心化学习模型，利用自注意力机制处理 non-IID 数据。在 HL 中，训练在每轮选中的节点上进行，节点训练好的模型在每轮结束时发送给下一个选中的节点。值得注意的是，对于节点选择，自注意力机制利用强化学习观察节点的内部状态及其周围环境状态，并找出应选择哪个节点以优化训练。我们在多种场景下对图像分类任务评估了我们的方法。结果表明，与独立学习相比，HL 能取得更好的性能，并且与基于随机策略的去中心化学习在 non-IID 数据上训练相比，总训练轮数减少 50.8%，通信成本降低 74.6%。
引用
@article{arxiv.2110.05290,
title = {Homogeneous Learning: Self-Attention Decentralized Deep Learning},
author = {Yuwei Sun and Hideya Ochiai},
journal= {arXiv preprint arXiv:2110.05290},
year = {2022}
}