基于互知识迁移的去中心化联邦学习
机器学习
2021-05-13 v2 分布式、并行与集群计算
摘要
在本文中，我们研究物联网（IoT）系统中的去中心化联邦学习（DFL）问题，其中多个 IoT 客户端在无中心服务器的情况下，不共享其私有训练数据而共同训练模型以完成一项共同任务。现有大多数 DFL 方案由两个交替步骤组成，即模型更新与模型平均。然而，在本地客户端直接平均模型参数以融合不同模型，会因各客户端间训练数据异构而遭受客户端漂移问题。这导致收敛缓慢且学习性能下降。作为一种可能的解决方案，我们提出基于互知识迁移的去中心化联邦学习（Def-KT）算法，其中本地客户端通过相互迁移所学到的知识来融合模型。我们在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 数据集上的实验表明，所提出的 Def-KT 算法显著优于采用模型平均的基线 DFL 方法（即 Combo 和 FullAvg），尤其在各客户端间训练数据非独立同分布（non-IID）时。
引用
@article{arxiv.2012.13063,
title = {Decentralized Federated Learning via Mutual Knowledge Transfer},
author = {Chengxi Li and Gang Li and Pramod K. Varshney},
journal= {arXiv preprint arXiv:2012.13063},
year = {2021}
}
备注
Published in IEEE Internet of Things Journal