通过子空间解耦迈向联邦多任务学习中的统一建模
机器学习
2025-06-02 v1 人工智能
计算机视觉与模式识别
摘要
联邦多任务学习 (Federated Multi-Task Learning, FMTL) 使多个客户端能够在不交换本地数据的情况下执行异构任务，为隐私保护的多任务协作提供了广阔前景。然而，现有大多数方法侧重于为每个客户端构建个性化模型，无法将多个异构任务聚合为一个统一模型。因此，在任务目标、标签空间和优化路径差异显著的实际场景中，传统 FMTL 方法难以实现有效的联合训练。为应对这一挑战，我们提出了 FedDEA (Federated Decoupled Aggregation)，一种专为多任务模型集成设计的更新结构感知聚合方法。该方法基于本地更新的响应强度动态识别任务相关维度，并通过重缩放增强其优化效果。该机制有效抑制了跨任务干扰，实现了统一全局模型内的任务级解耦聚合。FedDEA 不依赖任务标签或架构修改，具有广泛的适用性与部署友好性。实验结果表明，该方法可轻松集成至多种主流联邦优化算法中，并在广泛使用的 NYUD-V2 和 PASCAL-Context 数据集上持续带来显著的总体性能提升。这些结果验证了 FedDEA 在高度异构任务设置下的鲁棒性与泛化能力。
引用
@article{arxiv.2505.24185,
title = {Towards Unified Modeling in Federated Multi-Task Learning via Subspace Decoupling},
author = {Yipan Wei and Yuchen Zou and Yapeng Li and Bo Du},
journal= {arXiv preprint arXiv:2505.24185},
year = {2025}
}