联邦学习的即时聚合
分布式、并行与集群计算
2022-08-23 v1
摘要
联邦学习（FL）作业数量与规模的不断增长，使得对聚合进行资源高效调度与管理成为云托管聚合经济可行的必要前提。现有 FL 研究聚焦于 FL 算法与设计优化，而对聚合效能关注较少。现有 FL 平台常采用主动等待模型更新的聚合器。这在云上浪费了计算资源，尤其在大规模 FL 设置中各方间歇可用进行训练时更为明显。本文提出一种新的 FL 聚合范式——“即时”（JIT）聚合，其利用 FL 作业的独特属性，尤其是模型更新的周期性，尽可能推迟聚合，并将计算资源释放给其他 FL 作业或其他数据中心工作负载。我们描述了一种优先化 FL 作业以进行聚合的新方法，并使用多个数据集、模型和 FL 聚合算法证明，与现有 FL 平台所用的急切聚合相比，我们的技术可将资源使用降低 60+%。我们还证明使用 JIT 聚合的开销与对 FL 作业延迟的影响均可忽略。
引用
@article{arxiv.2208.09740,
title = {Just-in-Time Aggregation for Federated Learning},
author = {K. R. Jayaram and Ashish Verma and Gegi Thomas and Vinod Muthusamy},
journal= {arXiv preprint arXiv:2208.09740},
year = {2022}
}
备注
10 pages. Extended version of the paper accepted to MASCOTS 2022. arXiv admin note: text overlap with arXiv:2203.12163