HierarchyFL:通过分层自蒸馏的异构联邦学习
机器学习
2022-12-06 v1
摘要
联邦学习(FL)已被认为是一种保护隐私的分布式机器学习范式,它通过集中式全局模型聚合实现各种异构人工智能物联网(AIoT)设备之间的知识共享。由于所涉及的 AIoT 设备的模型异构性,FL 存在模型不准确和收敛缓慢的问题。尽管各种现有方法试图解决模型异构性问题的瓶颈,但其中大多数以粗粒度方式提升异构模型的精度,这使得部署大规模 AIoT 设备仍是一大挑战。为缓解该问题的负面影响并充分利用各异构模型的多样性,我们提出一个名为 HierarchyFL 的高效框架,其利用少量公共数据在不同结构模型间进行高效且可扩展的知识迁移。通过使用自蒸馏和我们提出的集成库,每个分层模型都可在云服务器上智能地相互学习。在多个知名数据集上的实验结果表明,HierarchyFL 不仅能最大化大规模 AIoT 系统中各种异构模型间的知识共享,还能大幅提升每个参与异构 AIoT 设备的模型性能。
引用
@article{arxiv.2212.02006,
title = {HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation},
author = {Jun Xia and Yi Zhang and Zhihao Yue and Ming Hu and Xian Wei and Mingsong Chen},
journal= {arXiv preprint arXiv:2212.02006},
year = {2022}
}