动态通信图上的个性化去中心化多任务学习
机器学习
2022-12-22 v1 信息论
信号处理
math.IT
摘要
去中心化和联邦学习算法面临数据异构性这一最大挑战之一，尤其是当用户想要学习特定任务时。即使使用与共享网络拼接的个性化头部（PF-MTL），使用去中心化算法聚合所有网络也可能因数据的异构性而导致性能下降。我们的算法使用交换的梯度自动计算任务之间的相关性，并动态调整通信图以连接互利的任务，并隔离那些可能对彼此产生负面影响的任务。与所有客户端无论其相关性如何都相互连接的情况相比，该算法提高了学习性能并带来了更快的收敛速度。我们在合成高斯数据集和大规模名人属性（CelebA）数据集上进行了实验。合成数据的实验表明，我们提出的方法能够检测正负相关的任务。此外，CelebA的实验结果表明，所提出的方法可能产生比全连接网络显著更快的训练结果。
引用
@article{arxiv.2212.11268,
title = {Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs},
author = {Matin Mortaheb and Sennur Ulukus},
journal= {arXiv preprint arXiv:2212.11268},
year = {2022}
}