FedGradNorm：个性化联邦梯度归一化多任务学习
机器学习
2022-03-28 v1 信息论
信号处理
math.IT
机器学习
摘要
多任务学习（MTL）是一种新颖的框架，利用单一共享网络同时学习多个任务，其中每个任务拥有其独特的个性化头部网络用于微调。MTL 也可在联邦学习设置中实现，其中任务分布于各客户端。在联邦设置中，由不同任务复杂度导致的统计异质性以及由本地数据集非独立同分布特性导致的数据异质性，都会降低系统的学习性能。此外，由于负迁移效应，任务可能相互负面影响彼此的学习性能。为应对这些挑战，我们提出 FedGradNorm，其使用动态加权方法对梯度范数进行归一化，以平衡不同任务间的学习速度。FedGradNorm 在个性化联邦学习设置中提升了整体学习性能。我们通过证明其具有指数收敛率来提供 FedGradNorm 的收敛性分析。我们还在多任务面部标志点（MTFL）和无线通信系统数据集（RadComDynamic）上进行了实验。实验结果表明，与等权策略相比，我们的框架能够实现更快的训练性能。除提升训练速度外，FedGradNorm 还补偿了客户端间的不平衡数据集。
引用
@article{arxiv.2203.13663,
title = {FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning},
author = {Matin Mortaheb and Cemil Vahapoglu and Sennur Ulukus},
journal= {arXiv preprint arXiv:2203.13663},
year = {2022}
}