基于数据-free On-server Matching Gradient 的联邦域泛化
机器学习
2025-05-27 v2 人工智能
分布式、并行与集群计算
多智能体系统
摘要
域泛化（Domain Generalization, DG）旨在从多个已知源域学习模型，使其能良好泛化至未知目标域。该方法的一个关键思路是训练编码器以生成域无关的表征。然而，在联邦域泛化（FDG）中，各域数据分布在不同客户端，此方法不可行。本文引入一种新方法，称为联邦学习通过 On-server Matching Gradient（FedOMG），可\emph{高效地利用来自分布式域的域信息。具体而言，我们利用局部梯度作为分布式模型的信息，通过梯度内积最大化寻找跨域不变梯度方向。其优势体现在两个方面：1）FedOMG 可在中心服务器上聚合分布式模型特征，却不产生额外通信开销；2）FedOMG 与许多现有联邦学习/域泛化方法是正交的，能够无缝集成后实现额外性能提升。我们对该方法在各种设置下的鲁棒性进行了广泛实验评估。该方法在四个联邦学习基准数据集（MNIST、EMNIST、CIFAR-10 和 CIFAR-100）以及三个联邦域泛化基准数据集（PACS、VLCS 和 OfficeHome）上均优于其他 SOTA 基线。
引用
@article{arxiv.2501.14653,
title = {Federated Domain Generalization with Data-free On-server Matching Gradient},
author = {Trong-Binh Nguyen and Minh-Duong Nguyen and Jinsun Park and Quoc-Viet Pham and Won Joo Hwang},
journal= {arXiv preprint arXiv:2501.14653},
year = {2025}
}
备注
26 pages, 15 figures, ICLR