基于权重散度驱动的分治方法实现非 IID 数据下的最优联邦学习
机器学习
2021-07-01 v2 分布式、并行与集群计算
摘要
联邦学习允许在分布式设备上训练数据而无需集中训练数据，从而维护数据隐私。解决数据异构性（非独立同分布或非 IID）处理能力是联邦学习更广泛应用的关键。本文提出一种新颖的分治训练方法，通过克服公认的 FedAvg 在非 IID 环境中的局限，使流行的 FedAvg 聚合算法得以使用。我们提出一种基于余弦距离的权重散度度量的新颖用法，以确定深度学习网络可划分为类无关初始层与类相关深层以执行分治训练的精确位置。我们表明，该方法所达模型精度与最先进聚合算法（如 FedProx、FedMA 等）相当（某些情况下超越）。此外，我们表明在特定文献条件下该方法可带来计算与带宽优化。
引用
@article{arxiv.2106.14503,
title = {Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data},
author = {Pravin Chandran and Raghavendra Bhat and Avinash Chakravarthi and Srikanth Chandar},
journal= {arXiv preprint arXiv:2106.14503},
year = {2021}
}