面向非相同客户端类别集的对齐导航：一种标签名锚定联邦学习框架
机器学习
2023-06-07 v2
摘要
传统联邦分类方法，即便为非IID客户端设计者，也假设各客户端以同一通用类别集标注本地数据。本文关注更一般且实际的设定——非相同客户端类别集，其中客户端聚焦于各自（不同甚至不重叠）的类别集，并寻求一个对这些类别并集有效的全局模型。若将分类视为寻找数据与标签编码器所产生表示间的最佳匹配，此类客户端类别集的异质性带来了新的重大挑战——不同客户端的本地编码器可能运行于不同甚至独立的潜空间，难以在服务器端聚合。我们提出新框架 FedAlign，从标签与数据双视角对齐跨客户端潜空间。从标签视角，我们利用具表达力的自然语言类名作为标签编码器的共同基础以锚定类别表示，并引导跨客户端的数据编码器学习。从数据视角，本地训练时我们将全局类别表示视为锚点，利用距本地未知类别锚点足够近/远的数据点对齐跨客户端的数据编码器。我们对泛化性能的理论分析及在四个不同任务真实数据集上的大量实验证实，FedAlign 优于多种最先进（非IID）联邦分类方法。
引用
@article{arxiv.2301.00489,
title = {Navigating Alignment for Non-identical Client Class Sets: A Label Name-Anchored Federated Learning Framework},
author = {Jiayun Zhang and Xiyuan Zhang and Xinyang Zhang and Dezhi Hong and Rajesh K. Gupta and Jingbo Shang},
journal= {arXiv preprint arXiv:2301.00489},
year = {2023}
}
备注
Accepted by KDD 2023