面向联邦学习的多级分支正则化
机器学习
2022-07-15 v1
摘要
联邦学习的一个关键挑战是客户端间的数据异构与不平衡，这导致局部网络间的不一致以及全局模型收敛的不稳定。为缓解这些局限，我们提出一种新颖的架构正则化技术，通过在每个局部模型中于多个不同层级嫁接局部与全局子网络来构建多个辅助分支，并借助在线知识蒸馏使局部模型中主通路的表征与辅助混合通路保持一致。所提技术能有效增强全局模型的鲁棒性，即便在非独立同分布（non-iid）设定下，也可便捷地应用于各类联邦学习框架且不带来额外通信开销。我们进行了全面的实证研究，并展现出相较现有方法在准确率与效率上的显著性能提升。源代码可在我们的项目页面获取。
引用
@article{arxiv.2207.06936,
title = {Multi-Level Branched Regularization for Federated Learning},
author = {Jinkyu Kim and Geeho Kim and Bohyung Han},
journal= {arXiv preprint arXiv:2207.06936},
year = {2022}
}
备注
ICML 2022