ColNet：去中心化联邦多任务学习系统中的协作优化
机器学习
2025-10-06 v2
摘要
联合联邦学习（Federated Learning, FL）和多任务学习（Multi-Task Learning, MTL）以解决客户端异构性问题，联邦多任务学习（Federated Multi-Task Learning, FMTL）将每个客户端视为一个独立任务。然而，大多数现有研究关注数据异构性（例如处理非独立同分布数据），而忽略任务异构性，即客户端解决根本不同任务。此外， much of the work relies on centralized settings with a server managing the federation, leaving the more challenging domain of decentralized FMTL largely unexplored. 因此，本工作通过提出ColNet框架来弥合这一差距，该框架旨在去中心化环境下的异构任务。ColNet将模型划分为主干网络和任务特定头部，并基于模型和数据敏感性进行自适应聚类，以形成任务一致的客户端组。主干网络在组内平均化，组领导者执行超冲突回避跨组聚合。在数据集和联邦环境中，ColNet在标签和任务异构性下优于竞争方案，并对抗毒化攻击具有鲁棒性。
引用
@article{arxiv.2501.10347,
title = {ColNet: Collaborative Optimization in Decentralized Federated Multi-task Learning Systems},
author = {Chao Feng and Nicolas Fazli Kohler and Zhi Wang and Weijie Niu and Alberto Huertas Celdran and Gerome Bovet and Burkhard Stiller},
journal= {arXiv preprint arXiv:2501.10347},
year = {2025}
}