Oort：通过引导式参与者选择实现高效联邦学习
机器学习
2021-05-31 v3 分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）是分布式机器学习（ML）的一个新兴方向，能够在边缘数据上就地完成模型训练与测试。尽管与传统 ML 的终极目标相同，FL 的执行规模差异显著，涵盖数千至数百万参与设备。因此，数据特征与设备能力在客户端间差异巨大。然而，现有工作随机选取 FL 参与者，导致模型与系统效率低下。本文中，我们提出 Oort，通过引导式参与者选择来提升联邦训练与测试的性能。旨在改善模型训练中的时间-精度性能，Oort 优先选用那些既拥有能最大程度提升模型精度的数据、又具备快速训练能力的客户端。为使 FL 开发者能在模型测试中解读其结果，Oort 在强制满足其对参与者数据分布要求的同时，通过甄选客户端来缩短联邦测试的耗时。我们的评估显示，相较于现有参与者选择机制，Oort 将时间-精度性能提升 1.2x-14.1x，最终模型精度提升 1.3%-9.8%，同时在百万级客户端规模下高效落实开发者指定的模型测试准则。
引用
@article{arxiv.2010.06081,
title = {Oort: Efficient Federated Learning via Guided Participant Selection},
author = {Fan Lai and Xiangfeng Zhu and Harsha V. Madhyastha and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2010.06081},
year = {2021}
}