多任务联邦学习的公平感知作业调度
机器学习
2024-02-09 v3 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）使多个数据所有者（即FL客户端）能够在不泄露敏感私有数据的情况下协作训练机器学习模型。现有的FL研究大多集中在单一场景，即单个FL服务器在每轮训练中选择一部分FL客户端来更新其本地模型。在实践中，可能存在多个FL服务器同时尝试从同一客户端池中选择客户端。本文提出了一种首创的公平感知联邦作业调度（FairFedJS）方法，以弥补这一差距。基于李雅普诺夫优化，它通过联合考虑当前需求和作业支付出价，确保将高需求的FL客户端数据集公平分配给需要它们的FL作业，以防止长时间等待。在两个数据集上将FairFedJS与四种最先进的方法进行的大量实验证明了其显著优势。在调度公平性和收敛时间方面，它平均分别优于最佳基线31.9%和1.0%，同时实现了可比的测试精度。
引用
@article{arxiv.2401.02740,
title = {Fairness-Aware Job Scheduling for Multi-Job Federated Learning},
author = {Yuxin Shi and Han Yu},
journal= {arXiv preprint arXiv:2401.02740},
year = {2024}
}
备注
accepted by ICASSP 2024