FedMM：面向联邦对抗域适应的鞍点优化
机器学习
2021-11-17 v3
摘要
联邦对抗域适应是一项独特的分布式极小极大训练任务，因为客户端之间普遍存在的标签不平衡，每个客户端仅见到训练全局模型所需标签类别的一个子集。为解决该问题，我们提出了一种称为 FedMM 的分布式极小极大优化器，专为联邦对抗域适应问题设计。即使在每个客户端具有不同标签类别且部分客户端仅有无监督任务的极端情况下，它也能良好工作。我们证明 FedMM 确保收敛到具有域偏移无监督数据的驻点。在多种基准数据集上的大量实验表明，相较于基于梯度下降上升 (GDA) 算法的联邦优化器，FedMM 始终实现显著的通信节省或显著的精度提升。例如，从头训练时，在相同通信轮数下其精度比其它基于 GDA 的联邦平均方法高出约 ；且在使用预训练模型训练时，对不同网络其精度提升持续从 到 不等。
引用
@article{arxiv.2110.08477,
title = {FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation},
author = {Yan Shen and Jian Du and Han Zhao and Benyu Zhang and Zhanghexuan Ji and Mingchen Gao},
journal= {arXiv preprint arXiv:2110.08477},
year = {2021}
}
备注
34 pages