基于统一任务向量的多任务联邦微调
机器学习
2025-07-10 v3 计算机视觉与模式识别
摘要
联邦学习 (FL) 通常假设客户端任务具有同质性；然而，在实际场景中，客户往往专注于多样化的任务，这引入了任务异构性。为解决这一挑战，已出现许多任务联邦学习 (MaT-FL)，使客户尽管任务多样化仍能有效协作。现有的 MaT-FL 方法依赖客户分组或个性化图层，要求服务器管理单个模型，无法考虑客户处理多个任务。我们提出了 MaTU，一种 MaT-FL 方法，使跨客户实现任务向量的联合学习，无需在服务器上进行聚类或存储客户特定权重。我们的方法引入了一种新型聚合机制，基于客户任务向量的方向确定任务相似性，并构建封装所有任务的统一任务向量。为满足任务特定需求，我们在统一任务向量上增添轻量级调制器，以在相关任务之间实现知识传递，同时在不相关任务之间实现解耦。在 30 个数据集上评估后，MaTU 在性能上优于最先进的 MaT-FL 方法，同时在通信开销方面实现显著节省。
引用
@article{arxiv.2502.06376,
title = {Many-Task Federated Fine-Tuning via Unified Task Vectors},
author = {Vasileios Tsouvalas and Tanir Ozcelebi and Nirvana Meratnia},
journal= {arXiv preprint arXiv:2502.06376},
year = {2025}
}
备注
10 pages, 6 figures, accepted in FedGenAI-IJCAI 2025