面向联邦多任务场景的表征学习提升
机器学习
2026-02-03 v1 人工智能
摘要
联邦多任务学习 (Federated Multi-Task Learning, FMTL) 旨在保护数据隐私的同时为具有不同任务的用户协同训练定制模型。大多数现有方法假设模型一致性 (即使用完全或部分同质化模型)，这限制了其在现实场景中的适用性。为克服这一限制，我们旨在跨任务学习共享表征空间，而非共享模型参数。为此，我们提出Muscle loss，一种新的对比学习目标，同时对所有参与模型的表征进行对齐。不同于现有基于多视图或多模型的对比方法，通常两两对齐模型，Muscle loss能够有效捕获跨任务的依赖性，因为其最小化等价于对所有模型表征之间互信息的最大化。基于此原理，我们开发了FedMuscle，一种实用且通信高效的FMTL算法，自然处理模型和任务的异构性。在多样化的图像和语言任务上的实验表明，FedMuscle在异构场景下持续优于最先进的基线，显著提升性能并提供稳健的结果。
引用
@article{arxiv.2602.01626,
title = {Toward Enhancing Representation Learning in Federated Multi-Task Settings},
author = {Mehdi Setayesh and Mahdi Beitollahi and Yasser H. Khalil and Hongliang Li},
journal= {arXiv preprint arXiv:2602.01626},
year = {2026}
}
备注
This paper has been accepted at ICLR 2026