贝叶斯联邦学习中的任务多样性：分类与回归的同步处理
机器学习
2024-12-30 v2 机器学习
摘要
本工作针对当前联邦学习方法的关键局限性进行了研究，这些方法主要关注均匀任务，忽视了本地设备上的任务多样性。我们提出了一种原则性的集成方法，利用多输出高斯过程(MOGP)在本地水平进行多任务学习，并在全局水平进行联邦学习。MOGP 处理相关的分类和回归任务，提供一种贝叶斯非参数方法，能够自然量化不确定性。中心服务器聚合来自本地设备的后验分布，更新全局 MOGP 先验，用于训练本地模型直至收敛。通过 Pólya-Gamma 增强技术和均场变分推断解决了在本地设备上进行后验推断的挑战，提高了计算效率和收敛速度。在合成数据和真实数据上的实验结果表明，我们的方法在预测性能、OOD 检测、不确定性校准和收敛速度方面均表现出优越性能，凸显了该方法在多样化应用中的潜力。我们的代码已公开发布于 https://github.com/JunliangLv/task_diversity_BFL。
引用
@article{arxiv.2412.10897,
title = {Task Diversity in Bayesian Federated Learning: Simultaneous Processing of Classification and Regression},
author = {Junliang Lyu and Yixuan Zhang and Xiaoling Lu and Feng Zhou},
journal= {arXiv preprint arXiv:2412.10897},
year = {2024}
}