FedBone：面向大规模联邦多任务学习
机器学习
2023-07-03 v1
摘要
异构联邦多任务学习（HFMTL）是一种结合不同客户端的异构任务以实现更准确、更全面预测的联邦学习技术。在真实世界应用中，视觉与自然语言任务通常需要大规模模型来提取高层抽象特征。然而，大规模模型无法直接应用于现有联邦多任务学习方法。现有HFML方法也忽视了在联邦聚合过程中梯度冲突对多任务优化的影响。在本工作中，我们提出一种称为FedBone的创新框架，从服务器-客户端拆分学习与梯度投影的角度构建具有更好泛化能力的大规模模型。我们将整个模型拆分为两部分：云服务器上的大规模通用模型（称为通用模型）与边缘客户端上的多个任务特定模型（称为客户端模型），解决了边缘客户端计算能力不足的问题。冲突梯度投影技术用于增强大规模通用模型在不同任务间的泛化能力。所提框架在两个基准数据集与一个真实眼科数据集上进行了评估。综合结果表明，FedBone能有效适配各客户端的异构本地任务，并在大多数密集预测与分类任务上优于现有联邦学习算法，且客户端侧使用现成计算资源即可。
引用
@article{arxiv.2306.17465,
title = {FedBone: Towards Large-Scale Federated Multi-Task Learning},
author = {Yiqiang Chen and Teng Zhang and Xinlong Jiang and Qian Chen and Chenlong Gao and Wuliang Huang},
journal= {arXiv preprint arXiv:2306.17465},
year = {2023}
}