任务中心化个性化联邦微调语言模型
机器学习
2026-04-07 v2 人工智能
摘要
联邦学习（FL）已成为一种在分布式和私有数据集上训练语言模型的很有前景的技术，这些数据集包含多样化的任务。然而，在异构任务上聚合模型通常会降低各个客户端的整体性能。为了解决这个问题，个性化 FL（pFL）旨在为每个客户端的数据分布创建定制模型。尽管这些方法改善了局部性能，但它们通常在两个方面缺乏鲁棒性：(i) 泛化：当客户端必须对未见任务做出预测，或面临其数据分布的变化时；(ii) 客户端内任务干扰：当单个客户端的数据包含多个可能在局部训练期间相互干扰的分布时。为了应对这两个挑战，我们提出了 FedRouter，一种基于聚类的 pFL，它为每个任务而非每个客户端构建专门模型。FedRouter 使用适配器通过两种聚类机制来个性化模型：一个将适配器与任务数据样本关联的局部聚类，以及一个将来自不同客户端的相似适配器关联起来以构建任务中心化个性化模型的全局聚类。此外，我们提出了一种评估路由机制，根据创建的聚类将测试样本路由到最佳适配器。在多任务数据集上与现有方法的对比实验表明，FedRouter 在这些具有挑战性的场景中表现出强大的鲁棒性，在任务干扰下相对性能提升了高达 6.1%，在泛化评估下相对提升高达 136%。
引用
@article{arxiv.2604.00050,
title = {Task-Centric Personalized Federated Fine-Tuning of Language Models},
author = {Gabriel U. Talasso and Meghdad Kurmanji and Allan M. de Souza and Nicholas D. Lane and Leandro A. Villas},
journal= {arXiv preprint arXiv:2604.00050},
year = {2026}
}