训练参数与机制对基于 MNIST 数据集的去中心化联邦学习的影响
机器学习
2021-08-10 v1
摘要
联邦学习是一种适用于在去中心化数据上训练模型的算法，但对中心“服务器”节点的要求是一个瓶颈。在本文中，我们首先引入去中心化联邦学习（DFL）的概念。随后我们在不同设置下进行多种实验，例如改变模型聚合频率、从独立同分布（IID）数据集划分切换到带有部分全局共享的非 IID 划分、在客户端间使用不同优化方法，以及将模型拆分为片段并进行部分共享。所有实验均在 MNIST 手写数字数据集上运行。我们观察到这些改动后的训练流程总体上是鲁棒的，尽管并非最优。我们还观察到当模型权重间方差过大时训练会出现失败。开源实验代码可通过 GitHub\footnote{代码已上传至 \url{https://github.com/zhzhang2018/DecentralizedFL}} 获取。
引用
@article{arxiv.2108.03508,
title = {The Effect of Training Parameters and Mechanisms on Decentralized Federated Learning based on MNIST Dataset},
author = {Zhuofan Zhang and Mi Zhou and Kaicheng Niu and Chaouki Abdallah},
journal= {arXiv preprint arXiv:2108.03508},
year = {2021}
}