跨多域的簇驱动图联邦学习
机器学习
2021-05-03 v1 计算机视觉与模式识别
摘要
联邦学习 (FL) 致力于在隐私受限场景下学习一个中心模型(即服务器),其中数据存储在多个设备(即客户端)上。中心模型无法直接访问数据,只能访问各客户端本地计算的参数更新。这引发了一个称为统计异构性的问题,因为客户端可能具有不同数据分布(即域)。仅通过客户端聚类可部分缓解该问题。聚类可通过识别域来降低异构性,但使每个簇模型失去其他簇的数据与监督。本文提出一种新颖的簇驱动图联邦学习 (FedCG)。在 FedCG 中,聚类用于解决统计异构性,而图卷积网络 (GCN) 实现跨簇知识共享。FedCG:i) 通过 FL 兼容的聚类识别域,并为每个域实例化域特定模块(残差分支);ii) 在训练时通过 GCN 连接域特定模块以学习域间交互并共享知识;iii) 通过师生分类器训练迭代无监督学习聚类,并通过域软分配分数处理新颖未见测试域。得益于 GCN 在簇上的独特交互,FedCG 在多个 FL 基准上达到最先进水平。
引用
@article{arxiv.2104.14628,
title = {Cluster-driven Graph Federated Learning over Multiple Domains},
author = {Debora Caldarola and Massimiliano Mancini and Fabio Galasso and Marco Ciccone and Emanuele Rodolà and Barbara Caputo},
journal= {arXiv preprint arXiv:2104.14628},
year = {2021}
}
备注
Accepted to CVPR21 Workshop Learning from Limited or Imperfect Data (L^2ID)