无需服务器端训练的单次联邦学习
机器学习
2023-05-10 v2
摘要
联邦学习（FL）作为一种保护隐私的新型机器学习范式，近期取得了显著进展。由于传统FL的通信成本高昂，单次联邦学习作为一种降低客户端与服务器之间通信成本的方法正日益普及。现有的大多数单次FL方法都基于知识蒸馏；然而，基于蒸馏的方法需要一个额外的训练阶段，并且依赖于公开可用的数据集或生成的伪样本。在这项工作中，我们考虑一种新颖且具有挑战性的跨机构设置：在无需服务器端训练的情况下，对本地模型执行单轮参数聚合。在此设置下，我们提出了一种有效的算法——通过探索公共协调最优解进行模型聚合（MA-Echo），该算法迭代更新所有本地模型的参数，使其在损失曲面上接近一个公共的低损失区域，同时不损害其在各自数据集上的性能。与现有方法相比，MA-Echo即使在每个本地模型的支持类别标签与其他模型完全不重叠的极端非独立同分布数据设置下也能良好工作。我们在两个流行的图像分类数据集上进行了大量实验，将所提出的方法与现有方法进行比较，并证明了MA-Echo的有效性，其性能明显优于当前最优方法。源代码可访问：https://github.com/FudanVI/MAEcho。
引用
@article{arxiv.2204.12493,
title = {One-shot Federated Learning without Server-side Training},
author = {Shangchao Su and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2204.12493},
year = {2023}
}
备注
Accepted in Neural Networks