基于编码器-解码器结构的多任务联邦学习：实现跨任务协同学习
机器学习
2026-01-06 v1 人工智能
摘要
联邦学习因其在分布式环境中确保数据安全的能力而广泛研究和应用。然而，参与联邦学习的客户端仍面临局限，因各客户端的结构或任务不同，无法共同参与学习。为此，构建一种允许不同模型结构客户端协同学习、执行不同任务的联邦学习框架，使其能够共享有价值的知识以提升模型效率，对联邦学习的广泛应用具有重要实际意义。为实现此目标，我们提出一种基于编码器-解码器结构的多任务联邦学习（M-Fed）。具体而言，鉴于当前模型广泛采用编码器-解码器架构，我们利用该结构通过传统联邦学习方法共享任务内知识，并从编码器中提取通用知识以实现跨任务知识共享。训练过程类似于传统联邦学习，我们将局部解码器和全局解码器信息纳入损失函数中。局部解码器迭代更新，逐渐趋近全局解码器，直至实现充分的跨任务知识共享。该方法轻量级且模块化，较先前研究具有创新性。它使执行不同任务的客户端能够在保持传统联邦学习系统效率的同时共享通用知识。我们在两个广泛使用的基准数据集上进行实验，以验证M-Fed的可行性，并与传统方法进行比较。实验结果表明，M-Fed在多任务联邦学习中有效。
引用
@article{arxiv.2504.09800,
title = {Multi-task Federated Learning with Encoder-Decoder Structure: Enabling Collaborative Learning Across Different Tasks},
author = {Jingxuan Zhou and Weidong Bao and Ji Wang and Dayu Zhang and Xiongtao Zhang and Yaohong Zhang},
journal= {arXiv preprint arXiv:2504.09800},
year = {2026}
}