异构联邦学习设备上的最优任务分配
人工智能
2020-10-02 v1 分布式、并行与集群计算
数据结构与算法
摘要
联邦学习(Federated Learning)在尊重数据隐私的前提下训练机器学习模型提供了新的机遇。该技术基于异构设备协同迭代训练模型而从不共享各自数据。鉴于此种训练的同步特性,联邦学习系统的性能由最慢设备(即掉队者,stragglers)决定。本文研究通过控制每个设备用于训练的数据量来最小化联邦学习轮次时长的问题。我们将此问题表述为带有相同、独立且原子化任务的完工时间(makespan)最小化问题,这些任务须分配给具有非递减代价函数的异构资源,同时尊重每资源任务数的上下限。基于此表述,我们提出一种名为 OLAR 的多项式时间算法,并证明其提供最优调度。我们在使用仿真的广泛实验评估中评价 OLAR,包括与现有最优算法及其新扩展进行比较。结果表明 OLAR 以较小执行时间提供最优解。结果还显示,每资源任务数上下限的存在抹除了次优启发式算法在算法执行时间上可能提供的任何益处。
引用
@article{arxiv.2010.00239,
title = {Optimal Task Assignment to Heterogeneous Federated Learning Devices},
author = {Laércio Lima Pilla},
journal= {arXiv preprint arXiv:2010.00239},
year = {2020}
}