通信高效且个性化的联邦彩票票学习
机器学习
2021-04-27 v1 信息论
网络与互联网体系结构
math.IT
摘要
彩票票假设（LTH）声称深度神经网络（即基础网络）包含若干子网络（即中奖票），每个子网络都具有与基础网络同等的推理精度。联邦学习（FL）最近已应用于 LotteryFL 中以分布式方式发现此类中奖票，显示出比 Vanilla FL 更高的多任务学习精度。然而，LotteryFL 依赖下行链路上的单播传输，且忽略减轻掉队者，其可扩展性存疑。受此启发，本文提出一种个性化且通信高效的联邦彩票票学习算法，称为 CELL，其利用下行广播实现通信效率。此外，它采用一种新颖的用户分组方法，从而在 FL 与彩票学习之间交替以减轻掉队者。数值仿真验证，在 CIFAR-10 数据集下，CELL 以直至收敛总通信成本降低 4.3 倍实现了最高 3.6% 更高的个性化任务分类精度。
引用
@article{arxiv.2104.12501,
title = {Communication-Efficient and Personalized Federated Lottery Ticket Learning},
author = {Sejin Seo and Seung-Woo Ko and Jihong Park and Seong-Lyun Kim and Mehdi Bennis},
journal= {arXiv preprint arXiv:2104.12501},
year = {2021}
}
备注
5 pages, 2 figures, 2 tables