基于多任务联邦学习的高效设备调度
分布式、并行与集群计算
2021-12-16 v2 人工智能
系统与控制
系统与控制
摘要
近年来,终端用户的多个(边缘)设备中出现了大量分散数据,而由于法律法规,这些分散数据的聚合对于机器学习任务仍十分困难。联邦学习(FL)成为一种在不共享敏感原始数据的情况下处理分散数据、同时协作训练全局机器学习模型的有效方法。FL 中的服务器需要在训练过程中选择(并调度)设备。然而,针对多个 FL 任务进行设备调度仍是一个关键且未解决的问题。本文提出一种新颖的多任务 FL 框架以实现多个任务的并行训练过程。该框架由系统模型与两种调度方法组成。在系统模型中,我们提出多任务的并行训练过程,并基于不同任务训练过程中各类设备的训练时间与数据公平性构建代价模型。我们提出一种基于强化学习的方法和一种基于贝叶斯优化的方法,在最小化代价的同时为多个任务调度设备。我们使用多任务与多数据集进行了大量实验。实验结果表明,我们提出的方法在训练时间(最高快 8.67 倍)和准确率(最高高 44.6%)方面显著优于基线方法。
引用
@article{arxiv.2112.05928,
title = {Efficient Device Scheduling with Multi-Job Federated Learning},
author = {Chendi Zhou and Ji Liu and Juncheng Jia and Jingbo Zhou and Yang Zhou and Huaiyu Dai and Dejing Dou},
journal= {arXiv preprint arXiv:2112.05928},
year = {2021}
}
备注
14 pages, 7 figures, 6 tables