LotteryFL：基于彩票假设在非独立同分布数据集上的个性化且通信高效的联邦学习
机器学习
2020-08-11 v1 分布式、并行与集群计算
机器学习
摘要
联邦学习是一种流行的具有增强隐私性的分布式机器学习范式。其主要目标是学习一个能为尽可能多的参与者提供良好性能的全局模型。该技术快速发展，但仍有许多未解决的挑战，其中统计异质性（即非 IID）与通信效率是阻碍联邦学习发展的两个关键问题。本工作中，我们提出 LotteryFL——一种通过利用彩票假设实现的个性化且通信高效的联邦学习框架。在 LotteryFL 中，每个客户端通过应用彩票假设学习一个彩票票网络（即基模型的子网络），并且仅这些彩票网络会在服务器与客户端之间通信。与经典联邦学习中学习共享全局模型不同，每个客户端通过 LotteryFL 学习个性化模型；由于彩票网络的紧凑规模，通信开销可显著降低。为支持我们框架的训练与评估，我们基于 MNIST、CIFAR-10 和 EMNIST，综合考虑特征分布偏斜、标签分布偏斜与数量偏斜构建了非 IID 数据集。在这些非 IID 数据集上的实验表明，LotteryFL 在个性化与通信开销方面显著优于现有方案。
引用
@article{arxiv.2008.03371,
title = {LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets},
author = {Ang Li and Jingwei Sun and Binghui Wang and Lin Duan and Sicheng Li and Yiran Chen and Hai Li},
journal= {arXiv preprint arXiv:2008.03371},
year = {2020}
}