迈向高效的同步联邦训练：系统优化策略综述
分布式、并行与集群计算
2022-05-31 v3 机器学习
网络与互联网体系结构
摘要
对隐私保护协作学习日益增长的需求催生了一种称为联邦学习（FL）的新计算范式，在该范式中，客户端在不泄露其私有训练数据的情况下协作训练机器学习（ML）模型。在给定可接受的隐私保证水平下，联邦学习的目标是最小化模型训练的达到目标精度所需时间。与数据中心的分布式机器学习相比，在联邦学习训练中实现短时间达到目标精度面临四个不同的挑战，即缺乏优化所需信息、统计效用与系统效用之间的权衡、客户端异构性以及巨大的配置空间。在本文中，我们综述了解决这些挑战的最新工作，并按照典型的训练工作流程，通过三个阶段（客户端选择、配置和报告）来呈现它们。我们还回顾了旨在支持联邦学习开发者的系统工作，包括测量研究和基准测试工具。
引用
@article{arxiv.2109.03999,
title = {Towards Efficient Synchronous Federated Training: A Survey on System Optimization Strategies},
author = {Zhifeng Jiang and Wei Wang and Bo Li and Qiang Yang},
journal= {arXiv preprint arXiv:2109.03999},
year = {2022}
}
备注
This article has been accepted for publication in IEEE Transactions on Big Data. This is the author's version which has not been fully edited and content may change prior to final publication