基于图的学习协作：选择性联邦多任务学习方法
机器学习
2025-06-13 v1 人工智能
分布式、并行与集群计算
摘要
我们提出了一种新颖的联邦多任务学习方法，利用跨客户端相似性实现每个客户端的个性化学习。为避免将整个模型传输至参数服务器，我们提出了一种通信高效的方案，引入特征锚点——一种紧凑的向量表示，用于总结从客户端本地类别中学到的特征。该特征锚点与服务器共享，以反映本地客户端的数据分布。此外，客户端共享分类头（一个轻量级线性层），并执行基于图的正则化以实现客户端间的协作。通过将客户端间的协作建模为动态图并持续更新和细化该图，我们可以应对客户端的分布漂移。为确保有益的知识传递并防止负向协作，我们采用基于社区检测的方法将该动态图划分为同质社区，最大化每个社区内任务相似度之和（以图边权重表示）。该机制将协作限制在同质社区内的高度相似客户端之间，确保正向交互并保持个性化。在两个异构数据集上的大量实验表明，我们的方法显著优于现有最先进基线。此外，我们证明该方法具有优越的计算和通信效率，并促进了客户端间的公平性。
引用
@article{arxiv.2506.10102,
title = {Learning to Collaborate Over Graphs: A Selective Federated Multi-Task Learning Approach},
author = {Ahmed Elbakary and Chaouki Ben Issaid and Mehdi Bennis},
journal= {arXiv preprint arXiv:2506.10102},
year = {2025}
}