MAS：面向资源高效的联邦多任务学习
机器学习
2023-07-24 v1 计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习（FL）是一种新兴的分布式机器学习方法，可在去中心化边缘设备上实现就地模型训练。然而，多个同时进行的 FL 任务可能使资源受限设备过载。本工作中，我们提出首个有效协调与训练多个同时 FL 任务的 FL 系统。我们首先形式化了训练同时 FL 任务的问题。随后，我们给出新方法 MAS（Merge and Split，合并与拆分）以优化同时多 FL 任务的训练性能。MAS 首先将 FL 任务合并为一个具有多任务架构的万能（all-in-one）FL 任务。训练若干轮后，MAS 利用万能训练期间度量的任务间亲和度，将该万能 FL 任务拆分为两个或多个 FL 任务。其后，它基于万能训练所得的模型参数继续训练每个拆分出的 FL 任务。大量实验表明，MAS 在将训练时间减少 2 倍、能耗降低 40% 的同时优于其他方法。我们希望本工作能启发社区进一步研究与优化同时 FL 任务的训练。
引用
@article{arxiv.2307.11285,
title = {MAS: Towards Resource-Efficient Federated Multiple-Task Learning},
author = {Weiming Zhuang and Yonggang Wen and Lingjuan Lyu and Shuai Zhang},
journal= {arXiv preprint arXiv:2307.11285},
year = {2023}
}
备注
ICCV'23. arXiv admin note: substantial text overlap with arXiv:2207.04202