Pisces：通过引导式异步训练实现高效联邦学习

联邦学习（FL）通常以同步并行方式进行，其中慢速客户端的参与会延迟训练迭代。当前的联邦学习系统采用参与者选择策略，在每次迭代中选择具有高质量数据的快速客户端。然而，这在实践中并非总是可行，且选择策略常常不得不在客户端速度与数据质量之间进行艰难的权衡。本文提出 Pisces，一种具有智能参与者选择和模型聚合功能的异步联邦学习系统，旨在加速训练。为避免产生过多的资源开销和陈旧的训练计算，Pisces 采用一种新颖的评分机制来识别适合参与训练迭代的客户端。它还调整模型聚合的节奏，以动态限制所选客户端与服务器之间的进度差距，并在平滑非凸设定下提供了可证明的收敛性保证。我们已在名为 Plato 的开源联邦学习平台上实现了 Pisces，并通过使用流行的视觉和语言模型进行大规模实验评估了其性能。Pisces 优于当前最先进的同步和异步方案，将达到目标精度的时间分别最多加快了 2.0 倍和 1.9 倍。