变分联邦多任务学习
机器学习
2021-02-05 v2 机器学习
摘要
在联邦学习中，中央服务器协调在大规模分布式设备网络上训练单一模型。这一设定可自然扩展至多任务学习框架，以处理现实世界中通常在设备间表现出强统计异质性的联邦数据集。尽管联邦多任务学习已被证明是面向现实世界数据集的有效范式，但它仅被应用于凸模型。在本工作中，我们提出 VIRTUAL，一种面向一般非凸模型的联邦多任务学习算法。在 VIRTUAL 中，服务器与客户端的联邦网络被视为星形贝叶斯网络，并使用近似变分推断在该网络上执行学习。我们表明该方法在现实世界联邦数据集上有效，优于当前联邦学习的 state-of-the-art，同时允许更稀疏的梯度更新。
引用
@article{arxiv.1906.06268,
title = {Variational Federated Multi-Task Learning},
author = {Luca Corinzia and Ami Beuret and Joachim M. Buhmann},
journal= {arXiv preprint arXiv:1906.06268},
year = {2021}
}